執行 #175

MatrixCloud AI Agent (bulk R1) → production-baseline

狀態
已完成
案例
20
開始時間
16 May 12:04
耗時
448.0s
¶ Economics · Bot-side N=20 attempts

Cost & Tokens

$0.1811
Total Bot Cost · USD
49.0%
Prompt Cache Hit
cost per case
$0.0091
cost per 1k tokens
$0.0015
input tokens
121,422
output tokens
3,443
cached tokens — prompt-cache hit
59,520
Total Tokens
124,865
economic efficiency
cost per correct
$0.0026
pass rate
45.0%
9 / 20
judge cost
$0.0233
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 2ebddf81-c4c2-4f7f-9f3a-c4843cd13954 110 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:6959acd9 Tools: sha256:cb414772 Scenarios: sha256:00311244 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
20 / 20
錯誤
0
失敗維度
2
首字延遲 p95
3347 ms
Bot 成本(Neptune)
$0.1811
Bot Tokens(Neptune)
124,865
Judge 成本(Eris)
$0.0233
Judge Tokens(Eris)
171,997
項目 I.

知識庫精準度

kb_accuracy 5 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=5
F1 18.2% · 相關率 13.3% · 精確 10.0%
5 / 5 適用 · 2 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=5
5 / 5 適用
答得到位 平均
answer_quality
85.3%
[60.0% – 100.0%] · n=5
5 / 5 適用
  • 案例 48FCE1DF

    使用 MatrixCloud 服務需要多少記憶體?

    已完成
    第 1 次嘗試 · 已完成 14524ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER使用 MatrixCloud 服務需要多少記憶體?
    BOT稍等一下我來幫您查詢 💡 您好,我是 MatrixCloud AI Agent,很高興為您服務! 根據官方建議,為了穩定使用 MatrixCloud 服務,建議您的電腦記憶體(RAM)至少要有16GB。因為 MatrixCloud 主要透過網頁應用程式運作,會大量消耗記憶體。如果只有8GB RAM,在 Windows 11 環境下開機後就已經接近滿載,實際使用時容易出現記憶體不足、軟體暫停等問題。 詳細說明可參考:Matrix Talk 等 MatrixCloud 服務的電腦建議規格: https://help.matrixcloud.kr/hc/ko/articles/8924918997007 如果您有其他硬體或系統相關問題,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_73511
    意料之外 (9)
    • ! know_73561
    • ! know_73520
    • ! know_73517
    • ! know_73564
    • ! know_73519
    • ! know_73515
    • ! know_73516
    • ! know_73512
    • ! know_73563
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆中提到的記憶體需求(至少16GB)和使用8GB RAM 可能出現的問題,均有來源支持,因此這些聲明被視為有根據。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 MatrixCloud AI Agent,很高興為您服務! 根據官方建議,為了穩定使用 MatrixCloud 服務,建議您的電腦記憶體(RAM)至少要有16GB。因為 MatrixCloud 主要透過網頁應用程式運作,會大量消耗記憶體。如果只有8GB RAM,在 Windows 11 環境下開機後就已經接近滿載,實際使用時容易出現記憶體不足、軟體暫停等問題。 詳細說明可參考:Matrix Talk 等 MatrixCloud 服務的電腦建議規格: https://help.matrixcloud.kr/hc/ko/articles/8924918997007 如果您有其他硬體或系統相關問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 建議記憶體大小要在 16GB 以上
    Judge 推理
    這個回答完全符合用戶的問題,提供了建議的記憶體大小,並且詳細解釋了原因,內容正確且完整。
  • 案例 D26728D2

    MIIT 審查要多久?

    已完成
    第 1 次嘗試 · 已完成 13415ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERMIIT 審查要多久?
    BOT稍等一下我來幫您查詢 💡 根據目前資料,中國 MIIT(工信部)審查 Commercial ICP License(經營性ICP許可證)時,審查時間大約為20至60個工作日。整體流程(包含前置的ICP備案)通常需要約2至3個月完成。 詳細流程與條件,您可以參考這篇說明:중국에서 Commercial ICP License(经营性ICP备证) 취득 절차와 난이도: https://help.matrixcloud.kr/hc/ko/articles/13219054064783 如需更細節的申請步驟或有特殊情境,建議您再與專業顧問或相關單位確認。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_73589
    意料之外 (9)
    • ! know_73585
    • ! know_73578
    • ! know_73587
    • ! know_73534
    • ! know_73605
    • ! know_73519
    • ! know_73586
    • ! know_73509
    • ! know_73513
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的MIIT審查時間和整體流程時間均有來源支持,因此這些聲明被視為有根據。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 根據目前資料,中國 MIIT(工信部)審查 Commercial ICP License(經營性ICP許可證)時,審查時間大約為20至60個工作日。整體流程(包含前置的ICP備案)通常需要約2至3個月完成。 詳細流程與條件,您可以參考這篇說明:중국에서 Commercial ICP License(经营性ICP备证) 취득 절차와 난이도: https://help.matrixcloud.kr/hc/ko/articles/13219054064783 如需更細節的申請步驟或有特殊情境,建議您再與專業顧問或相關單位確認。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • MIIT 審查需要 20~60 個工作日
    Judge 推理
    這個回答完全符合用戶的問題,提供了MIIT審查所需的時間,並且沒有錯誤的陳述。回答也包含了額外的相關資訊,增加了完整性。
  • 案例 CA98524E

    請問回撥結果會記錄在哪裡呢?

    已完成
    第 1 次嘗試 · 已完成 14976ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問回撥結果會記錄在哪裡呢?
    BOT正在為您搜尋最新資料 ⏳ 回撥結果的記錄方式如下: - 如果有與CRM(如Zendesk、Salesforce)系統串接,回撥結果會由CRM系統進行外撥後,將結果回寫到MatrixCloud中。 - 若沒有串接CRM,只用軟體電話(Softphone)時,可以直接在MatrixCloud管理頁面(https://desk.matrixcloud.kr/)的「運營管理 > 回撥」選單中查詢與處理回撥紀錄。管理員可手動分配回撥給客服人員,客服人員完成通話後可將該回撥狀態設為「完成」。 詳細說明請參考 回撥菜單使用說明: https://help.matrixcloud.kr/hc/ko/articles/8326579794447 如需進一步操作指引,也歡迎再詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_73593
    意料之外 (9)
    • ! know_73528
    • ! know_73526
    • ! know_73578
    • ! know_73509
    • ! know_73569
    • ! know_73558
    • ! know_73596
    • ! know_73595
    • ! know_73592
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    回覆中的所有事實性陳述均可從來源中找到支持,且沒有任何虛構的聲明,因此沒有虛構率。所有陳述都符合來源的內容。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 回撥結果的記錄方式如下: - 如果有與CRM(如Zendesk、Salesforce)系統串接,回撥結果會由CRM系統進行外撥後,將結果回寫到MatrixCloud中。 - 若沒有串接CRM,只用軟體電話(Softphone)時,可以直接在MatrixCloud管理頁面(https://desk.matrixcloud.kr/)的「運營管理 > 回撥」選單中查詢與處理回撥紀錄。管理員可手動分配回撥給客服人員,客服人員完成通話後可將該回撥狀態設為「完成」。 詳細說明請參考 回撥菜單使用說明: https://help.matrixcloud.kr/hc/ko/articles/8326579794447 如需進一步操作指引,也歡迎再詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 回撥結果會記錄在 MatrixCloud 中
    Judge 推理
    回撥結果的記錄方式詳細說明了如何在MatrixCloud中查詢與處理回撥紀錄,雖然提供了豐富的資訊,但未直接簡潔地回答「回撥結果會記錄在哪裡」這個問題,因此在完整性上稍有不足。
  • 案例 E6948824

    推薦的 USB 頭戴式耳機是什麼?

    已完成
    第 1 次嘗試 · 已完成 10645ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER推薦的 USB 頭戴式耳機是什麼?
    BOT馬上為您找找看相關內容 📋 推薦的 USB 頭戴式耳機有以下兩款: 1. PM21TMUSB(單一連接型) 2. PM578TMS + USBCS21 Set(高階型,耳機與 USB 連接線可分離) 這兩款都是有線 USB 耳機,適合長時間通話及辦公使用。選擇有線 USB 耳機能避免無線產品常見的訊號干擾與斷線問題,提升通話穩定性。 如需購買,請聯絡 sales@matrixcloud.kr。若需要更詳細規格或比較,歡迎告訴我您的需求!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_73521
    意料之外 (9)
    • ! know_73522
    • ! know_73553
    • ! know_73548
    • ! know_73556
    • ! know_73517
    • ! know_73560
    • ! know_73575
    • ! know_73555
    • ! know_73561
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆完全基於來源材料,所有提到的 USB 頭戴式耳機型號和特性均有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 推薦的 USB 頭戴式耳機有以下兩款: 1. PM21TMUSB(單一連接型) 2. PM578TMS + USBCS21 Set(高階型,耳機與 USB 連接線可分離) 這兩款都是有線 USB 耳機,適合長時間通話及辦公使用。選擇有線 USB 耳機能避免無線產品常見的訊號干擾與斷線問題,提升通話穩定性。 如需購買,請聯絡 sales@matrixcloud.kr。若需要更詳細規格或比較,歡迎告訴我您的需求!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 推薦的耳機是 USB 有線耳機
    • 不建議使用無線耳機
    • 推薦的產品有 PM21TMUSB 和高級型的 PM578TMS + USBCS21 Set
    II 重要限制 w 30%
    • 信號干擾可能會導致經常斷線
    Judge 推理
    這個回答完全符合用戶的需求,提供了推薦的 USB 有線耳機,並且詳細說明了不建議使用無線耳機的原因。所有關鍵點都被涵蓋,且沒有錯誤的陳述。
  • 案例 1BB48134

    最新版的軟體是什麼版本?

    已完成
    第 1 次嘗試 · 已完成 12005ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER最新版的軟體是什麼版本?
    BOT稍等一下我來幫您查詢 💡 目前最新版的 MatrixCloud WebRTC 소프트폰(軟體)是 v1.2.1,於 2025年5月21日發佈。這次更新包含: - 新增 Zendesk 手動工單建立功能 - 新增 Salesforce 手動 Task 建立功能 - 內線強制轉接功能 - 登出延遲與錯誤修正 - UI 設計改善 詳細內容可參考:소프트폰 업데이트 안내(v1.2.1): https://help.matrixcloud.kr/hc/ko/articles/12786875944335 如果您指的是其他軟體,請告知具體名稱,我可以再幫您查詢!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_73555
    意料之外 (9)
    • ! know_73557
    • ! know_73558
    • ! know_73559
    • ! know_73556
    • ! know_73517
    • ! know_73560
    • ! know_73568
    • ! know_73562
    • ! know_73540
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆完全符合來源資料,所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    33.3%
    相關性
    100.0%
    完整性
    0.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 最新版的 MatrixCloud WebRTC 軟體是 v1.1.7
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 目前最新版的 MatrixCloud WebRTC 소프트폰(軟體)是 v1.2.1,於 2025年5月21日發佈。這次更新包含: - 新增 Zendesk 手動工單建立功能 - 新增 Salesforce 手動 Task 建立功能 - 內線強制轉接功能 - 登出延遲與錯誤修正 - UI 設計改善 詳細內容可參考:소프트폰 업데이트 안내(v1.2.1): https://help.matrixcloud.kr/hc/ko/articles/12786875944335 如果您指的是其他軟體,請告知具體名稱,我可以再幫您查詢!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 最新版的 MatrixCloud WebRTC 軟體是 v1.1.7
    Judge 推理
    回覆中提到的最新版軟體版本為 v1.2.1,與正確的版本 v1.1.7 不符,因此在正確性上得分為 0。回覆未能提供正確的版本資訊,導致完整性得分為 0。
    錯誤陳述 (1)
    • 最新版的 MatrixCloud WebRTC 軟體是 v1.2.1
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[60.0% – 100.0%] · n=10
F1 73.3% · 召回 80.0% · 精確 70.0%
10 / 10 適用
用對工具 召回
tool_usage
70.0%
[40.0% – 100.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 70.0%
10 / 10 適用
答得到位 平均
answer_quality
56.3%
[43.7% – 70.7%] · n=10
10 / 10 適用
  • 案例 317E1A5F

    請問我的訂單狀態是什麼呢?

    已完成
    第 1 次嘗試 · 已完成 11748ms
    腳本進度 · 訂單查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ● 已呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → shopline_search_orders
    USER請問我的訂單狀態是什麼呢?
    BOT稍等一下我來幫您查詢 💡 您好,我是 MatrixCloud AI Agent,很高興為您服務! 目前查詢不到您的相關訂單資訊。請您提供訂單編號、手機號碼或下單時使用的電子郵件,我才能協助您查詢訂單狀態。謝謝您的配合!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 841 · 訂單查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • shopline_search_orders
    TP 1
    FP 0
    FN 0

    回答品質

    56.7%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 請提供您的訂購姓名和聯絡電話,這樣我才能幫您查詢相關的訂單資訊
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 MatrixCloud AI Agent,很高興為您服務! 目前查詢不到您的相關訂單資訊。請您提供訂單編號、手機號碼或下單時使用的電子郵件,我才能協助您查詢訂單狀態。謝謝您的配合!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請提供您的訂購姓名和聯絡電話,這樣我才能幫您查詢相關的訂單資訊
    Judge 推理
    回覆中未能提供所需的訂購姓名和聯絡電話,這是查詢訂單狀態的必要資訊。此外,提到查詢不到訂單資訊的說法與規範不符,應該提供協助的方式。
    錯誤陳述 (1)
    • 目前查詢不到您的相關訂單資訊。
  • 案例 6284C901

    你們社群媒體有什麼?

    已完成
    第 1 次嘗試 · 已完成 19509ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們社群媒體有什麼?
    BOT正在為您搜尋最新資料 ⏳ 我們目前支援的社群媒體主要有: - KakaoTalk(包含 Kakao 商務頻道與 Kakao 諮詢聊天功能) - Naver TalkTalk(可與 Naver TalkTalk 頻道進行整合) 如果您想了解如何開設或串接 KakaoTalk 或 Naver TalkTalk 頻道,可以參考以下說明: KakaoTalk 商務頻道開設與設定方式:카카오톡 비즈니스 채널과 상담톡 준비: https://help.matrixcloud.kr/hc/ko/articles/9163813334671 Naver TalkTalk 頻道整合方式:네이버 톡톡 채널 연동 위한 정보: https://help.matrixcloud.kr/hc/ko/articles/13488669079567 如需進一步協助,歡迎隨時告訴我您的需求!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 840 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 我們的社群媒體可以在 Facebook 粉絲團找到
    • 我們的社群媒體可以在 Instagram 找到
    • 我們的社群媒體可以在 YouTube 頻道找到
    II 重要
    III 補充
    0.0% · w 10%
    • 隨時可以關注我們以獲取最新消息
    AI 回覆
    正在為您搜尋最新資料 ⏳ 我們目前支援的社群媒體主要有: - KakaoTalk(包含 Kakao 商務頻道與 Kakao 諮詢聊天功能) - Naver TalkTalk(可與 Naver TalkTalk 頻道進行整合) 如果您想了解如何開設或串接 KakaoTalk 或 Naver TalkTalk 頻道,可以參考以下說明: KakaoTalk 商務頻道開設與設定方式:카카오톡 비즈니스 채널과 상담톡 준비: https://help.matrixcloud.kr/hc/ko/articles/9163813334671 Naver TalkTalk 頻道整合方式:네이버 톡톡 채널 연동 위한 정보: https://help.matrixcloud.kr/hc/ko/articles/13488669079567 如需進一步協助,歡迎隨時告訴我您的需求!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們的社群媒體可以在 Facebook 粉絲團找到
    • 我們的社群媒體可以在 Instagram 找到
    • 我們的社群媒體可以在 YouTube 頻道找到
    III 補充說明 w 10%
    • 隨時可以關注我們以獲取最新消息
    Judge 推理
    回覆中提到的社群媒體平台與正確的社群媒體平台不符,且未涵蓋所有必要的社群媒體資訊,導致回答不完整且不正確。
    錯誤陳述 (1)
    • 提供了不正確的社群媒體平台資訊
  • 案例 B3AA3A34

    請問我可以查詢我的訂單狀態嗎?

    已完成
    第 1 次嘗試 · 已完成 23679ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我可以查詢我的訂單狀態嗎?
    BOT馬上為您找找看相關內容 📋 您好,我是 MatrixCloud AI Agent,很高興為您服務! 關於查詢訂單狀態,目前查詢到的相關資訊主要是針對服務開通、契約流程與訂單申請等說明,尚未發現有直接提供「訂單狀態即時查詢」的線上功能說明。如果您需要查詢您的訂單進度,建議您可以透過 MatrixCloud 官方網站的「聯絡我們」或客服管道提交查詢申請,客服人員會協助您確認最新狀態。 如需了解更多細節,您也可以參考以下相關說明: - 매트릭스클라우드 서비스 개통(오프) 절차: https://help.matrixcloud.kr/hc/ko/articles/13059807238799 - MatrixCloud 服務契約所需文件: https://help.matrixcloud.kr/hc/ko/articles/13059753890575 若有其他具體需求或想進一步操作,歡迎告訴我您的詳細情況,我會協助您找到最合適的解決方式!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 841 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    40.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 請提供您的訂單編號或其他相關資訊
    • 我幫您查詢訂單狀態
    II 重要
    0.0% · w 30%
    • 如果找到了多個相關訂單,我會邏輯性地合併這些訂單的資訊告訴您
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 MatrixCloud AI Agent,很高興為您服務! 關於查詢訂單狀態,目前查詢到的相關資訊主要是針對服務開通、契約流程與訂單申請等說明,尚未發現有直接提供「訂單狀態即時查詢」的線上功能說明。如果您需要查詢您的訂單進度,建議您可以透過 MatrixCloud 官方網站的「聯絡我們」或客服管道提交查詢申請,客服人員會協助您確認最新狀態。 如需了解更多細節,您也可以參考以下相關說明: - 매트릭스클라우드 서비스 개통(오프) 절차: https://help.matrixcloud.kr/hc/ko/articles/13059807238799 - MatrixCloud 服務契約所需文件: https://help.matrixcloud.kr/hc/ko/articles/13059753890575 若有其他具體需求或想進一步操作,歡迎告訴我您的詳細情況,我會協助您找到最合適的解決方式!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您的訂單編號或其他相關資訊
    • 我幫您查詢訂單狀態
    II 重要限制 w 30%
    • 如果找到了多個相關訂單,我會邏輯性地合併這些訂單的資訊告訴您
    Judge 推理
    回覆未能提供用戶所需的訂單編號或相關資訊,且未能直接查詢訂單狀態,導致回答不完整。
  • 案例 C875F978

    訂單查詢要怎麼做啊

    已完成
    第 1 次嘗試 · 已完成 19100ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單查詢要怎麼做啊
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 MatrixCloud AI Agent,很高興為您服務! 如果您想查詢訂單,請問您指的是哪一類的訂單呢?目前查詢結果中沒有直接說明「訂單查詢」的具體操作方式,但有關於合約、服務申請、以及管理頁面操作的相關說明。如果您是要查詢與 MatrixCloud 服務相關的申請或合約進度,通常需要提供訂單或申請文件,並可透過管理頁面進行後續操作。 若您能提供更明確的需求(例如:是要查詢服務開通進度、合約狀態,還是其他特定訂單),我可以幫您找到更精確的操作方式或相關說明喔! 如需進一步協助,也建議聯繫真人客服確認您的訂單細節。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 841 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    66.7%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    70.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    10.0% · w 10%
    • 請提供你的訂單相關信息,比如訂單編號或聯絡電話
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 MatrixCloud AI Agent,很高興為您服務! 如果您想查詢訂單,請問您指的是哪一類的訂單呢?目前查詢結果中沒有直接說明「訂單查詢」的具體操作方式,但有關於合約、服務申請、以及管理頁面操作的相關說明。如果您是要查詢與 MatrixCloud 服務相關的申請或合約進度,通常需要提供訂單或申請文件,並可透過管理頁面進行後續操作。 若您能提供更明確的需求(例如:是要查詢服務開通進度、合約狀態,還是其他特定訂單),我可以幫您找到更精確的操作方式或相關說明喔! 如需進一步協助,也建議聯繫真人客服確認您的訂單細節。
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請提供你的訂單相關信息,比如訂單編號或聯絡電話
    Judge 推理
    回覆中雖然有詢問用戶的需求,但未能提供具體的訂單查詢步驟,且缺少要求用戶提供訂單編號或聯絡電話的內容,因此完整性不足。
  • 案例 2D01C7CD

    我之前下的訂單查詢一下,能不能合併資訊?

    已完成
    第 1 次嘗試 · 已完成 9821ms
    腳本進度 · 訂單查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ● 已呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → shopline_search_orders
    USER我之前下的訂單查詢一下,能不能合併資訊?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 MatrixCloud AI Agent,很高興為您服務。 目前查詢不到您之前的任何訂單資訊。請問您是否可以提供訂單編號、手機號碼或下單時使用的電子郵件,以便我協助您更精確地查詢並合併相關資訊?謝謝!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 841 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • shopline_search_orders
    TP 1
    FP 0
    FN 0

    回答品質

    80.0%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 我可以幫你查詢訂單
    • 若找到多個相關訂單,會將這些訂單的資訊合併給你
    II 重要
    III 補充
    10.0% · w 10%
    • 請提供你的訂購姓名或聯絡電話,以便我幫你查詢
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 MatrixCloud AI Agent,很高興為您服務。 目前查詢不到您之前的任何訂單資訊。請問您是否可以提供訂單編號、手機號碼或下單時使用的電子郵件,以便我協助您更精確地查詢並合併相關資訊?謝謝!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我可以幫你查詢訂單
    • 若找到多個相關訂單,會將這些訂單的資訊合併給你
    III 補充說明 w 10%
    • 請提供你的訂購姓名或聯絡電話,以便我幫你查詢
    Judge 推理
    回覆中提到無法查詢到任何訂單資訊,但未能提供查詢的具體內容,且缺少合併訂單資訊的承諾,導致完整性不足。
  • 案例 5715F2F7

    這款髮片功能是什麼?

    已完成
    第 1 次嘗試 · 已完成 11887ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER這款髮片功能是什麼?
    BOT馬上為您找找看相關內容 📋 根據我的了解,目前沒有找到與「髮片」相關的功能說明。如果您能提供更詳細的產品名稱或型號,我可以幫您查詢更精確的資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 840 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 這款髮片提供自然的假髮效果
    • 易於佩戴
    • 適合各種場合
    II 重要
    III 補充
    • 若想了解更詳細的功能與規格,可以透過我們的知識與產品查詢獲得更多資訊
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,目前沒有找到與「髮片」相關的功能說明。如果您能提供更詳細的產品名稱或型號,我可以幫您查詢更精確的資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 這款髮片提供自然的假髮效果
    • 易於佩戴
    • 適合各種場合
    III 補充說明 w 10%
    • 若想了解更詳細的功能與規格,可以透過我們的知識與產品查詢獲得更多資訊
    Judge 推理
    這個回答未能提供髮片的功能資訊,且錯誤地表示找不到相關內容,與使用者的問題不符。回答中缺少了關鍵的功能描述,導致完整性和正確性都很低。
    錯誤陳述 (1)
    • 目前沒有找到與「髮片」相關的功能說明
  • 案例 BD0A260E

    我想查詢我的訂單狀態,請問要提供什麼資訊呢?

    已完成
    第 1 次嘗試 · 已完成 10370ms
    腳本進度 · 訂單查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ● 已呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → shopline_search_orders
    USER我想查詢我的訂單狀態,請問要提供什麼資訊呢?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 MatrixCloud AI Agent,很高興為您服務! 查詢訂單狀態時,請您提供以下其中一項資訊: - 訂單編號 - 您下單時填寫的手機號碼 - Email 信箱 - 物流追蹤號碼 請提供上述任一資訊,我將立即為您查詢訂單狀態。

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 841 · 訂單查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • shopline_search_orders
    TP 1
    FP 0
    FN 0

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    • 請提供您的聯絡電話
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 MatrixCloud AI Agent,很高興為您服務! 查詢訂單狀態時,請您提供以下其中一項資訊: - 訂單編號 - 您下單時填寫的手機號碼 - Email 信箱 - 物流追蹤號碼 請提供上述任一資訊,我將立即為您查詢訂單狀態。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您的訂單編號或聯絡電話
    III 補充說明 w 10%
    • 這樣我才能幫您查詢相關的訂單資訊
    Judge 推理
    AI 回覆提供了查詢訂單狀態所需的資訊,並且涵蓋了大部分的關鍵點,但缺少了明確要求提供聯絡電話的部分,因此在完整性上有所扣分。
  • 案例 FDD18BB7

    這個產品多少錢?

    已完成
    第 1 次嘗試 · 已完成 16654ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能? — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER這個產品多少錢?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 MatrixCloud AI Agent,很高興為您服務!請問您指的是哪一項產品呢?目前有多種不同的服務和商品,例如: - 國際電話服務 - 전광판 커스텀 개발(電子看板客製化開發) - 문자, 알림톡 發送服務 - Office 레터링(來電顯示服務) - USB 헤드셋 請告訴我您想查詢價格的具體產品名稱,這樣我才能提供正確的價格資訊喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 840 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    46.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    II 重要
    III 補充
    • 建議你跟真人客服確認一下
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 MatrixCloud AI Agent,很高興為您服務!請問您指的是哪一項產品呢?目前有多種不同的服務和商品,例如: - 國際電話服務 - 전광판 커스텀 개발(電子看板客製化開發) - 문자, 알림톡 發送服務 - Office 레터링(來電顯示服務) - USB 헤드셋 請告訴我您想查詢價格的具體產品名稱,這樣我才能提供正確的價格資訊喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 價格會因產品而異
    III 補充說明 w 10%
    • 建議你跟真人客服確認一下
    Judge 推理
    這個回覆雖然有詢問產品的意圖,但未能提供正確的價格資訊,且使用了韓文,違反了語言一致性規則。
    錯誤陳述 (1)
    • 使用了韓文,違反了語言一致性規則
  • 案例 6036CB5B

    查詢我的訂單要提供什麼個人資訊?

    已完成
    第 1 次嘗試 · 已完成 20475ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER查詢我的訂單要提供什麼個人資訊?
    BOT稍等一下我來幫您查詢 💡 您好,我是 MatrixCloud AI Agent,很高興為您服務! 查詢訂單時,通常需要提供與訂單相關的個人資訊以便識別您的身分。根據目前資料,若是進行服務契約或訂單查詢,您可能需要提供以下資訊: - 訂單相關資料(如訂單號碼或訂購人資訊) - 事業用戶則需提供公司名稱、事業者登記證等 - 若涉及通訊服務,可能還需填寫申請書並附上法人印鑑證明書等文件 實際所需的個人資訊會依您的查詢內容及服務類型而異。建議您可先準備好基本的訂單資訊(如姓名、聯絡電話、電子郵件或訂單編號),以便客服協助查詢。 如需更詳細說明,歡迎告知您的具體需求或使用場景,我可以再為您查找更精確的資料!相關說明也可參考:MatrixCloud 서비스 계약에 필요한 서류 안내: https://help.matrixcloud.kr/hc/ko/articles/13059753890575

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 841 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    80.0%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 聯絡電話
    II 重要
    III 補充
    50.0% · w 10%
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 MatrixCloud AI Agent,很高興為您服務! 查詢訂單時,通常需要提供與訂單相關的個人資訊以便識別您的身分。根據目前資料,若是進行服務契約或訂單查詢,您可能需要提供以下資訊: - 訂單相關資料(如訂單號碼或訂購人資訊) - 事業用戶則需提供公司名稱、事業者登記證等 - 若涉及通訊服務,可能還需填寫申請書並附上法人印鑑證明書等文件 實際所需的個人資訊會依您的查詢內容及服務類型而異。建議您可先準備好基本的訂單資訊(如姓名、聯絡電話、電子郵件或訂單編號),以便客服協助查詢。 如需更詳細說明,歡迎告知您的具體需求或使用場景,我可以再為您查找更精確的資料!相關說明也可參考:MatrixCloud 서비스 계약에 필요한 서류 안내: https://help.matrixcloud.kr/hc/ko/articles/13059753890575
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您需要提供訂單編號和聯絡電話
    III 補充說明 w 10%
    • 以便我們能夠幫助您查詢訂單詳細資訊
    Judge 推理
    回覆中提到的個人資訊雖然相關,但未完整涵蓋所需的聯絡電話,導致完整性分數降低。整體上,回覆仍然是相關的,且提供了額外的資訊,但未完全符合要求。
  • 案例 9008502A

    你們的粉絲團和官網是什麼?

    已完成
    第 1 次嘗試 · 已完成 17341ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的粉絲團和官網是什麼?
    BOT馬上為您找找看相關內容 📋 您好,我是 MatrixCloud AI Agent,很高興為您服務! 關於您的問題,以下是我們的相關資訊: - 官網:MatrixCloud 相關資訊與公告可參考 MatrixCloud Admin 채팅 상담 관련 운영 메뉴 오픈 안내: https://help.matrixcloud.kr/hc/ko/articles/8389563427855 目前查詢結果中未直接顯示粉絲團(如 Facebook 粉絲專頁)連結。如果您需要特定社群平台的粉絲團資訊,請告訴我是哪一個平台,我可以再幫您確認!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 840 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    46.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 我們的粉絲團可以在 Facebook 上找到
    • Facebook 粉絲團: https://www.facebook.com/RaccoonAI
    • 官網可以訪問這裡: 官方網站: https://www.raccoonai.com
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 MatrixCloud AI Agent,很高興為您服務! 關於您的問題,以下是我們的相關資訊: - 官網:MatrixCloud 相關資訊與公告可參考 MatrixCloud Admin 채팅 상담 관련 운영 메뉴 오픈 안내: https://help.matrixcloud.kr/hc/ko/articles/8389563427855 目前查詢結果中未直接顯示粉絲團(如 Facebook 粉絲專頁)連結。如果您需要特定社群平台的粉絲團資訊,請告訴我是哪一個平台,我可以再幫您確認!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們的粉絲團可以在 Facebook 上找到
    • Facebook 粉絲團: https://www.facebook.com/RaccoonAI
    • 官網可以訪問這裡: 官方網站: https://www.raccoonai.com
    Judge 推理
    回覆中未提供粉絲團的具體連結,且未完全符合語言一致性規則,導致正確性得分為零。
    錯誤陳述 (1)
    • 未提供粉絲團的具體連結
項目 III.

對話素養(混合問答)

mixed_qa 5 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=3
F1 18.2% · 相關率 13.3% · 精確 10.0%
3 / 5 適用
不亂編造 平均
faithfulness
86.7%
[60.0% – 100.0%] · n=5
5 / 5 適用
答得到位 平均
answer_quality
63.3%
[34.0% – 92.7%] · n=5
5 / 5 適用
  • 案例 F0F09F5B

    統一搜尋要生成什麼關鍵字?

    已完成
    第 1 次嘗試 · 已完成 18317ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER統一搜尋要生成什麼關鍵字?
    BOT馬上為您找找看相關內容 📋 根據我的了解,「統一搜尋要生成什麼關鍵字」這個問題,並沒有直接對應的說明。不過,若您是想在系統中搜尋特定內容,例如在工單(Ticket)內搜尋某個詞彙,可以直接在搜尋欄輸入您想找的關鍵字,系統會連同工單標題、欄位及留言內容一起搜尋。詳細說明可參考:티켓 내역 안에 있는 단어나 워딩을 검색할 수 있나요?: https://help.matrixcloud.kr/hc/ko/articles/8257687420431 如果您的需求是其他類型的「統一搜尋」或有特定場景,請再補充說明,我可以幫您查找更精確的資訊!

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的搜尋工單內容的方式,與來源中的說明一致,因此所有的事實陳述都有來源支持,沒有虛構的內容。

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 統一搜尋必須為每個地區生成 BM25 關鍵字
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,「統一搜尋要生成什麼關鍵字」這個問題,並沒有直接對應的說明。不過,若您是想在系統中搜尋特定內容,例如在工單(Ticket)內搜尋某個詞彙,可以直接在搜尋欄輸入您想找的關鍵字,系統會連同工單標題、欄位及留言內容一起搜尋。詳細說明可參考:티켓 내역 안에 있는 단어나 워딩을 검색할 수 있나요?: https://help.matrixcloud.kr/hc/ko/articles/8257687420431 如果您的需求是其他類型的「統一搜尋」或有特定場景,請再補充說明,我可以幫您查找更精確的資訊!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 統一搜尋必須為每個地區生成 BM25 關鍵字
    Judge 推理
    回覆未能正確回答使用者的問題,缺少了關鍵的核心內容,且未遵循預期的回答風格。
  • 案例 B1B58861

    請問貴公司的粉絲團可以在哪裡找到呢?

    已完成
    第 1 次嘗試 · 已完成 12405ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 請問最新的無線耳機有哪些推薦? — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問貴公司的粉絲團可以在哪裡找到呢?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,目前沒有直接顯示 MatrixCloud 官方粉絲團的相關資訊。如果您需要聯繫或關注我們,建議您可以先參考我們的官方網站或客服平台。為了確保準確,建議你跟真人客服確認一下喔!

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的資訊並未來自於任何來源,且未遵循回覆規則,特別是未能基於工具結果提供正確的知識性回答。

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 你可以在 Facebook 上找到我們的粉絲團
    • 搜尋「RaccoonAI」即可
    II 重要
    III 補充
    0.0% · w 10%
    • 若有需要進一步幫助,可以聯絡我們的客服團隊喔
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,目前沒有直接顯示 MatrixCloud 官方粉絲團的相關資訊。如果您需要聯繫或關注我們,建議您可以先參考我們的官方網站或客服平台。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 你可以在 Facebook 上找到我們的粉絲團
    • 搜尋「RaccoonAI」即可
    III 補充說明 w 10%
    • 若有需要進一步幫助,可以聯絡我們的客服團隊喔
    Judge 推理
    回覆未能正確提供粉絲團的具體資訊,且包含不正確的聲明,未遵循語言一致性規則。
    錯誤陳述 (1)
    • 目前沒有直接顯示 MatrixCloud 官方粉絲團的相關資訊
  • 案例 A3CE4D6F

    請問 Standard 及以上計畫的錄音檔案保留多久?

    已完成
    第 1 次嘗試 · 已完成 19395ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問 Standard 及以上計畫的錄音檔案保留多久?
    BOT稍等一下我來幫您查詢 💡 Standard 及以上計畫的錄音檔案會保留 5 年。若您取消訂閱(終止合約),系統會在 30 天內提供錄音檔案備份,超過 30 天後,所有錄音與通話資料將會被永久刪除。 如需詳細說明,您可以參考 錄音檔案保留期限: https://help.matrixcloud.kr/hc/ko/articles/9133246677007

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_73534
    意料之外 (9)
    • ! know_73578
    • ! know_73517
    • ! know_73556
    • ! know_73589
    • ! know_73528
    • ! know_73585
    • ! know_73558
    • ! know_73569
    • ! know_73561
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆完全符合來源資料的內容,所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 Standard 及以上計畫的錄音檔案會保留 5 年。若您取消訂閱(終止合約),系統會在 30 天內提供錄音檔案備份,超過 30 天後,所有錄音與通話資料將會被永久刪除。 如需詳細說明,您可以參考 錄音檔案保留期限: https://help.matrixcloud.kr/hc/ko/articles/9133246677007
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • Standard 及以上計畫的錄音檔案保留 5 年
    Judge 推理
    這個回答完全符合用戶的問題,提供了標準及以上計畫的錄音檔案保留期限,並且內容正確且完整。
  • 案例 CCC23D98

    網站的詢問表單提交後會怎樣?

    已完成
    第 1 次嘗試 · 已完成 17857ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER網站的詢問表單提交後會怎樣?
    BOT馬上為您找找看相關內容 📋 您好,我是 MatrixCloud AI Agent,很高興為您解答! 網站的詢問表單提交後,通常會有以下幾種處理方式,依照實際設定而定: 1. 若網站有串接像 Zendesk 這類客服系統,表單送出後,會自動將您填寫的內容轉成一張客服工單(Ticket),由客服人員進行後續處理。詳細流程可參考:웹사이트의 문의하기 양식을 제출하면 젠데스크 티켓으로 만들어지도록 하는 방법: https://help.matrixcloud.kr/hc/ko/articles/12482733807375 2. 如果是使用 MatrixCloud 的聊天或諮詢功能,部分情境下只有在「連接客服人員」時才會產生工單。如果只是選擇諮詢類型但未連接真人客服,則不會產生工單,而是記錄為一般諮詢紀錄。詳細說明請參考:매트릭스챗 업데이트 안내(v1.1.2): https://help.matrixcloud.kr/hc/ko/articles/8480850637327 如果您需要更具體的流程說明,歡迎提供您使用的網站或系統名稱,我可以幫您查詢更精確的資訊!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_73570
    意料之外 (9)
    • ! know_73542
    • ! know_73509
    • ! know_73519
    • ! know_73544
    • ! know_73585
    • ! know_73539
    • ! know_73533
    • ! know_73537
    • ! know_73589
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆中提到的表單提交後的處理方式,均有來源支持,且引用了具體的系統和流程,沒有任何虛構的內容。

    回答品質

    63.3%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 網站的 HTML 表單提交後,會自動生成 Zendesk 的詢問票據
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 MatrixCloud AI Agent,很高興為您解答! 網站的詢問表單提交後,通常會有以下幾種處理方式,依照實際設定而定: 1. 若網站有串接像 Zendesk 這類客服系統,表單送出後,會自動將您填寫的內容轉成一張客服工單(Ticket),由客服人員進行後續處理。詳細流程可參考:웹사이트의 문의하기 양식을 제출하면 젠데스크 티켓으로 만들어지도록 하는 방법: https://help.matrixcloud.kr/hc/ko/articles/12482733807375 2. 如果是使用 MatrixCloud 的聊天或諮詢功能,部分情境下只有在「連接客服人員」時才會產生工單。如果只是選擇諮詢類型但未連接真人客服,則不會產生工單,而是記錄為一般諮詢紀錄。詳細說明請參考:매트릭스챗 업데이트 안내(v1.1.2): https://help.matrixcloud.kr/hc/ko/articles/8480850637327 如果您需要更具體的流程說明,歡迎提供您使用的網站或系統名稱,我可以幫您查詢更精確的資訊!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 網站的 HTML 表單提交後,會自動生成 Zendesk 的詢問票據
    Judge 推理
    回覆中提到的處理方式雖然相關,但未直接回答使用者的問題,且未完全涵蓋正確的核心內容。
  • 案例 25E76A5E

    MatrixCloud v1.1.6 版本的使用者需要等待多久才能更新到 v1.1.7?

    已完成
    第 1 次嘗試 · 已完成 17027ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERMatrixCloud v1.1.6 版本的使用者需要等待多久才能更新到 v1.1.7?
    BOT馬上為您找找看相關內容 📋 您好,我是 MatrixCloud AI Agent,很高興為您服務! 根據目前的資訊,MatrixCloud v1.1.6 版本的使用者在更新到 v1.1.7 時,更新會「順次推送」,請您稍作等待即可。官方並未明確公告每位使用者需等待的具體天數,只說明會依序進行更新。 如需查看詳細公告內容,您可以參考:MatrixCloud v1.1.7 헤드셋 설정 유의사항 안내: https://help.matrixcloud.kr/hc/ko/articles/8478436314767 如果您有特定的更新需求或遇到問題,建議聯繫真人客服協助確認您的帳號排程狀態。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_73517
    意料之外 (9)
    • ! know_73559
    • ! know_73557
    • ! know_73555
    • ! know_73512
    • ! know_73558
    • ! know_73561
    • ! know_73511
    • ! know_73516
    • ! know_73556
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆中提到的更新方式和等待時間均有來源支持,因此沒有虛構的內容。所有的事實陳述都可以從來源中找到依據。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 MatrixCloud AI Agent,很高興為您服務! 根據目前的資訊,MatrixCloud v1.1.6 版本的使用者在更新到 v1.1.7 時,更新會「順次推送」,請您稍作等待即可。官方並未明確公告每位使用者需等待的具體天數,只說明會依序進行更新。 如需查看詳細公告內容,您可以參考:MatrixCloud v1.1.7 헤드셋 설정 유의사항 안내: https://help.matrixcloud.kr/hc/ko/articles/8478436314767 如果您有特定的更新需求或遇到問題,建議聯繫真人客服協助確認您的帳號排程狀態。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 使用 MatrixCloud v1.1.6 版本的使用者更新將會是逐步進行的
    III 補充說明 w 10%
    • 請稍作等待
    Judge 推理
    這個回答完全符合使用者的問題,並且提供了完整的資訊,說明了更新的過程和建議,沒有遺漏任何關鍵點。