執行 #247

WEEX 小助手 (bulk R1) → production-baseline

狀態
已完成
案例
30
開始時間
16 May 12:39
耗時
428.5s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2695
Total Bot Cost · USD
61.7%
Prompt Cache Hit
cost per case
$0.0090
cost per 1k tokens
$0.0012
input tokens
226,032
output tokens
3,310
cached tokens — prompt-cache hit
139,392
Total Tokens
229,342
economic efficiency
cost per correct
$0.0014
pass rate
56.7%
17 / 30
judge cost
$0.0239
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • f548601b-feb5-43e5-b0c5-772b7214c304 651 筆 KB
    SystemPrompt: sha256:dbda6361 KBContent: sha256:7509273b Tools: sha256:da07ff95 Scenarios: sha256:874c5ff3 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
2969 ms
Bot 成本(Neptune)
$0.2695
Bot Tokens(Neptune)
229,342
Judge 成本(Eris)
$0.0239
Judge Tokens(Eris)
184,668
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
60.0%
[30.0% – 90.0%] · n=10
F1 23.6% · 相關率 36.7% · 精確 48.0%
10 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
85.7%
[57.1% – 100.0%] · n=7
10 / 10 適用
答得到位 平均
answer_quality
77.0%
[57.0% – 92.3%] · n=10
10 / 10 適用
  • 案例 9EA3EB12

    有沒有強平手續費?

    已完成
    第 1 次嘗試 · 已完成 9694ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER有沒有強平手續費?
    BOT正在为您搜寻最新资料 ⏳ 根據我的了解,目前沒有查詢到關於「強平手續費」的相關資料。為了確保準確,建議你跟真人客服確認一下喔!

    知識檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191508
    TP 0
    FP 0
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 系統會自動收取強平手續費
    • 該費用會直接從倉位價值中扣除
    • 已計入清算成本中
    II 重要
    0.0% · w 30%
    • 在最終結算時您無需再次額外支付
    III 補充
    AI 回覆
    正在为您搜寻最新资料 ⏳ 根據我的了解,目前沒有查詢到關於「強平手續費」的相關資料。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 系統會自動收取強平手續費
    • 該費用會直接從倉位價值中扣除
    • 已計入清算成本中
    II 重要限制 w 30%
    • 在最終結算時您無需再次額外支付
    Judge 推理
    回覆未能提供有關強平手續費的正確資訊,且錯誤地聲稱沒有相關資料。缺少了所有關鍵點,導致完整性和正確性得分低。
    錯誤陳述 (1)
    • 目前沒有查詢到關於「強平手續費」的相關資料
  • 案例 6BBEDCA6

    請問強平手續費怎麼計算?

    已完成
    第 1 次嘗試 · 已完成 12371ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問強平手續費怎麼計算?
    BOT稍等一下我来帮您查询 💡 根據我的了解,強平手續費的計算方式可能會因平台規則有所不同。為了確保準確,建議你跟真人客服確認一下喔!

    知識檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191510
    TP 0
    FP 0
    FN 1

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 強平手續費是按照平台設定的強平手續費率執行
    • 該費用會在倉位被強制平倉時直接從倉位價值中扣除
    • 強平手續費計入清算成本,用戶無需再次額外支付
    II 重要
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 根據我的了解,強平手續費的計算方式可能會因平台規則有所不同。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 強平手續費是按照平台設定的強平手續費率執行
    • 該費用會在倉位被強制平倉時直接從倉位價值中扣除
    • 強平手續費計入清算成本,用戶無需再次額外支付
    Judge 推理
    回覆未能提供強平手續費的具體計算方式,且包含不正確的聲明,建議與真人客服確認的說法不符合用戶的需求。
    錯誤陳述 (1)
    • 強平手續費的計算方式可能會因平台規則有所不同
  • 案例 CCB6309C

    充入的币种和平台支持的不一致怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 15993ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER充入的币种和平台支持的不一致怎麼辦?
    BOT稍等一下我来帮您查询 💡 如果您充入的币种与WEEX平台支持的不一致,平台暂时无法协助找回或退款处理。为避免此类问题再次发生,建议您在充值前务必仔细核实平台支持的币种和链类型信息。 - 若您充币的币种名称与平台显示一致,但实际并非同一币种,平台同样无法协助找回或退款。 - 若您充入的是目前平台不支持的币种,也无法协助找回或退款。 请务必在每次充值前确认币种、链类型及充值地址完全一致。如有疑问,建议联系人工客服进一步咨询。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_191386
    意料之外 (4)
    • ! know_191385
    • ! know_191387
    • ! know_171818
    • ! know_183660
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料中的資訊,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 目前平台暫不支持該幣充值
    • 我們暫時無法協助您找回或退款處理
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 如果您充入的币种与WEEX平台支持的不一致,平台暂时无法协助找回或退款处理。为避免此类问题再次发生,建议您在充值前务必仔细核实平台支持的币种和链类型信息。 - 若您充币的币种名称与平台显示一致,但实际并非同一币种,平台同样无法协助找回或退款。 - 若您充入的是目前平台不支持的币种,也无法协助找回或退款。 请务必在每次充值前确认币种、链类型及充值地址完全一致。如有疑问,建议联系人工客服进一步咨询。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 目前平台暫不支持該幣充值
    • 我們暫時無法協助您找回或退款處理
    II 重要限制 w 30%
    • 建議您在今後充值前,務必仔細核實平台支持的幣種與鏈類型信息
    Judge 推理
    回覆內容針對用戶的問題進行了詳細解釋,並提供了建議,但缺少了關於平台不支持該幣充值的明確說明,導致核心內容不完整。
  • 案例 ED5F4296

    提款可以到支付寶或微信嗎?

    已完成
    第 1 次嘗試 · 已完成 7427ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER提款可以到支付寶或微信嗎?
    BOT稍等一下我来帮您查询 💡 目前WEEX配合的卖币渠道仅支持银行卡收款,暂时无法直接将提款转到支付宝或微信。请您先使用银行卡进行操作,谢谢您的理解。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_191441
    意料之外 (9)
    • ! know_191436
    • ! know_191719
    • ! know_183640
    • ! know_191437
    • ! know_191721
    • ! know_191469
    • ! know_191425
    • ! know_191407
    • ! know_191766
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,並且所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    稍等一下我来帮您查询 💡 目前WEEX配合的卖币渠道仅支持银行卡收款,暂时无法直接将提款转到支付宝或微信。请您先使用银行卡进行操作,谢谢您的理解。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 目前WEEX配合的賣幣渠道僅支持銀行卡收款
    III 補充說明 w 10%
    • 還請您先使用銀行卡操作
    • 謝謝您
    Judge 推理
    這個回答完全符合用戶的問題,並且涵蓋了所有關鍵點,沒有遺漏或錯誤的陳述。
  • 案例 6B118E54

    拖動止盈或止損線會有什麼變化?

    已完成
    第 1 次嘗試 · 已完成 10054ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER拖動止盈或止損線會有什麼變化?
    BOT马上为您找找看相关内容 📋 根據我的了解,拖動止盈或止損線通常會調整您的止盈或止損價格,從而影響訂單的觸發條件和潛在盈虧。但為了確保準確,建議你跟真人客服確認一下喔!

    知識檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191841
    TP 0
    FP 0
    FN 1

    回答品質

    76.7%
    相關性
    90.0%
    完整性
    60.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 拖動止盈或止損線時,會立即顯示對應的價格和預期盈虧
    II 重要
    III 補充
    10.0% · w 10%
    AI 回覆
    马上为您找找看相关内容 📋 根據我的了解,拖動止盈或止損線通常會調整您的止盈或止損價格,從而影響訂單的觸發條件和潛在盈虧。但為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 拖動止盈或止損線時,會立即顯示對應的價格和預期盈虧
    III 補充說明 w 10%
    • 方便您快速判斷要不要調整倉位
    Judge 推理
    回覆中提到拖動止盈或止損線會調整價格和潛在盈虧,但未提及會立即顯示對應的價格和預期盈虧,導致核心內容不完整。補充的判斷便利性也未被提及,因此完整性得分較低。
  • 案例 85DCDEE0

    提幣慢是因為要審核嗎?

    已完成
    第 1 次嘗試 · 已完成 14351ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER提幣慢是因為要審核嗎?
    BOT马上为您找找看相关内容 📋 根據我的了解,資料中未直接說明「提幣慢是否因為需要審核」。為了確保準確,建議你跟真人客服確認一下喔!

    知識檢索

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191395
    意料之外 (5)
    • ! know_191780
    • ! know_191781
    • ! know_137215
    • ! know_182151
    • ! know_191657
    TP 0
    FP 5
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的「提幣慢是否因為需要審核」並未在任何來源中得到支持,因此被判定為虛構。所有的句子都沒有引用來源,導致引用基礎為0。
    幻覺陳述 (1)
    • 提幣慢是否因為需要審核

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 提幣過程中,皆需通過審核
    • 為保障資金安全
    II 重要
    III 補充
    0.0% · w 10%
    • 請您稍微耐心等待一下
    • 我們的審核人員會盡快為您處理
    AI 回覆
    马上为您找找看相关内容 📋 根據我的了解,資料中未直接說明「提幣慢是否因為需要審核」。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 提幣過程中,皆需通過審核
    • 為保障資金安全
    III 補充說明 w 10%
    • 請您稍微耐心等待一下
    • 我們的審核人員會盡快為您處理
    Judge 推理
    回覆未能正確回答提幣慢的原因,且缺少了關鍵的審核過程和資金安全的說明,導致完整性和正確性都受到影響。
    錯誤陳述 (1)
    • 資料中未直接說明「提幣慢是否因為需要審核」
  • 案例 549F878C

    取消賣幣需要提供什麼?

    已完成
    第 1 次嘗試 · 已完成 10593ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER取消賣幣需要提供什麼?
    BOT马上为您找找看相关内容 📋 取消賣幣時,您需要提供以下資料: - UID、手機號或郵箱(三選一) - 取消原因 這些資訊將用於轉接客服協助處理。請您準備好上述資料,聯繫客服即可完成取消賣幣申請。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_191445
    意料之外 (4)
    • ! know_182161
    • ! know_191398
    • ! know_191574
    • ! know_105991
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料中的要求,所有提供的資訊都能在來源中找到支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    马上为您找找看相关内容 📋 取消賣幣時,您需要提供以下資料: - UID、手機號或郵箱(三選一) - 取消原因 這些資訊將用於轉接客服協助處理。請您準備好上述資料,聯繫客服即可完成取消賣幣申請。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您的 UID/手机号/邮箱 (三选一)
    • 請提供取消原因
    III 補充說明 w 10%
    • 為您轉接客服处理
    • 謝謝您
    Judge 推理
    該回覆完整地回答了用戶的問題,提供了所需的資料,並且包含了補充的客戶服務轉接信息,符合預期的回答風格。
  • 案例 1B2ACB56

    合约挖矿返还獎勵是即時發放的嗎?

    已完成
    第 1 次嘗試 · 已完成 12735ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER合约挖矿返还獎勵是即時發放的嗎?
    BOT正在为您搜寻最新资料 ⏳ 合约挖矿手续费返还类的奖励是实时发放的,通常会在您产生手续费后以WXT的形式直接到账,但可能会有轻微延迟。如果遇到结算时间差或风控排除部分交易,也可能导致金额略有差异。若您发现奖励未及时到账或金额不符,建议随时联系客服协助确认。 更多详细说明可参考: - 合约挖矿奖励发放规则: https://www.weex.com/zh-CN/events/futures-trading/trade-to-earn

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_105989
    意料之外 (4)
    • ! know_105985
    • ! know_105983
    • ! know_191755
    • ! know_182134
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回答完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的內容。

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    80.0% · w 30%
    • 可能因为结算时间差、短暂延迟或风控排除部分交易而略有差异
    III 補充
    AI 回覆
    正在为您搜寻最新资料 ⏳ 合约挖矿手续费返还类的奖励是实时发放的,通常会在您产生手续费后以WXT的形式直接到账,但可能会有轻微延迟。如果遇到结算时间差或风控排除部分交易,也可能导致金额略有差异。若您发现奖励未及时到账或金额不符,建议随时联系客服协助确认。 更多详细说明可参考: - 合约挖矿奖励发放规则: https://www.weex.com/zh-CN/events/futures-trading/trade-to-earn
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 合约挖矿返还奖励是实时发放的
    II 重要限制 w 30%
    • 可能因为结算时间差、短暂延迟或风控排除部分交易而略有差异
    Judge 推理
    回覆中提到合約挖礦返還獎勵是即時發放的,並且有提到可能的延遲,符合核心必答的要求。但在重要限制方面,未完整提及可能的差異原因,因此在完整性上稍有扣分。
  • 案例 238E4CD8

    黑夜模式要怎麼調整?

    已完成
    第 1 次嘗試 · 已完成 9847ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER黑夜模式要怎麼調整?
    BOT稍等一下我来帮您查询 💡 黑夜模式调整方法如下: - 在首页点击左上角的【功能图标】 - 右上角会有【月亮/太阳图标】,点击即可切换黑夜模式或日间模式 如有其他界面或设备需求,请补充说明,我会为您进一步指引。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_191685
    意料之外 (9)
    • ! know_191696
    • ! know_191482
    • ! know_182155
    • ! know_191511
    • ! know_191855
    • ! know_191497
    • ! know_191599
    • ! know_191498
    • ! know_191606
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,所有的調整方法都有明確的來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 黑夜模式调整方法如下: - 在首页点击左上角的【功能图标】 - 右上角会有【月亮/太阳图标】,点击即可切换黑夜模式或日间模式 如有其他界面或设备需求,请补充说明,我会为您进一步指引。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請在首頁點擊左上角的【功能圖標】
    • 點擊右上角的【月亮/太陽圖標】即可切換
    Judge 推理
    這個回答完全符合用戶的問題,提供了正確的調整黑夜模式的步驟,且沒有遺漏任何關鍵點。
  • 案例 6EE3721C

    請問為什麼無法取得錢包地址或進行內轉?

    已完成
    第 1 次嘗試 · 已完成 12771ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問為什麼無法取得錢包地址或進行內轉?
    BOT正在为您搜寻最新资料 ⏳ 無法取得錢包地址或進行內轉,是因為這是活体验证前的安全限制。完成验证后即可正常使用。

    知識檢索

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • know_191829
    TP 1
    FP 0
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料的內容,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在为您搜寻最新资料 ⏳ 無法取得錢包地址或進行內轉,是因為這是活体验证前的安全限制。完成验证后即可正常使用。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 這是活體驗證前的安全限制
    • 完成驗證後即可正常使用
    Judge 推理
    回覆內容完整且正確地回答了使用者的問題,涵蓋了所有必要的要點,並且沒有任何錯誤的陳述。
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
40.0%
[10.0% – 70.0%] · n=10
F1 30.0% · 召回 40.0% · 精確 25.0%
10 / 10 適用
用對工具 召回
tool_usage
10.0%
[0.0% – 30.0%] · n=10
F1 10.0% · 召回 10.0% · 精確 10.0%
10 / 10 適用
答得到位 平均
answer_quality
52.3%
[37.7% – 69.7%] · n=10
10 / 10 適用
  • 案例 42CDA99A

    我想查詢我的訂單詳情,請問應該怎麼做?

    已完成
    第 1 次嘗試 · 已完成 16376ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想查詢我的訂單詳情,請問應該怎麼做?
    BOT让我帮您查询一下相关资讯 🔍 要查询您的订单详情,请按照以下步骤操作: - 打开WEEX App,登录您的账户 - 在首页点击左上角的【功能图标】或进入相关交易页面 - 查找并进入【订单】或【持仓】页面,即可查看您的订单详情 如需详细操作教程,您可以访问: - 教程中心: https://www.weex.com/zh-CN/help/categories/4410757386393-%E6%95%99%E7%A8%8B%E4%B8%AD%E5%BF%83 - Q&A: https://www.weex.com/zh-CN/questions 如果您有自己交易和跟单的需求,建议在持仓页面计算自己操作的数量进行平仓,平仓时会以当下的持仓均价计算,请特别留意。 如有其他疑问,也欢迎随时告知!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 216 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    40.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 您可以提供您的個人資訊
    • 我會幫您查詢您的訂單詳情和運送狀態
    II 重要
    III 補充
    AI 回覆
    让我帮您查询一下相关资讯 🔍 要查询您的订单详情,请按照以下步骤操作: - 打开WEEX App,登录您的账户 - 在首页点击左上角的【功能图标】或进入相关交易页面 - 查找并进入【订单】或【持仓】页面,即可查看您的订单详情 如需详细操作教程,您可以访问: - 教程中心: https://www.weex.com/zh-CN/help/categories/4410757386393-%E6%95%99%E7%A8%8B%E4%B8%AD%E5%BF%83 - Q&A: https://www.weex.com/zh-CN/questions 如果您有自己交易和跟单的需求,建议在持仓页面计算自己操作的数量进行平仓,平仓时会以当下的持仓均价计算,请特别留意。 如有其他疑问,也欢迎随时告知!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以提供您的個人資訊
    • 我會幫您查詢您的訂單詳情和運送狀態
    Judge 推理
    這個回覆雖然提供了一些查詢訂單的步驟,但並沒有要求用戶提供個人資訊來進行查詢,未能完全符合要求。
  • 案例 23F9402F

    你們有什麼適合夏天穿的產品推薦嗎

    已完成
    第 1 次嘗試 · 已完成 7242ms
    腳本進度 · 產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 產品查詢
    腳本規則
    - 商品/產品
    - 推薦/介紹
    - 我想要/我需要
    
    產品查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### product_search_parameters — 商品搜尋參數
    - query [string] (必填): 用戶當前最想查詢或推薦的商品、需求或關鍵主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [array] (必填): 用戶訊息中出現的所有商品關鍵字、型號、代碼,如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 最新款無線耳機 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_products — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All recommendations must be based on content output from <tool: search_products>, never fabricate.
    - If multiple relevant orders found, combine them logically
    - If unable to recommend, clearly explain and suggest human customer service assistance.
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_products> outputs.
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們有什麼適合夏天穿的產品推薦嗎
    BOT稍等一下我来帮您查询 💡 根據我的了解,目前沒有查詢到適合夏天穿的產品推薦。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 215 · 產品查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_products
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 我們會搜尋相關的產品資訊來給你推薦
    II 重要
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 根據我的了解,目前沒有查詢到適合夏天穿的產品推薦。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們會搜尋相關的產品資訊來給你推薦
    Judge 推理
    回覆中提到目前沒有查詢到適合夏天穿的產品推薦,這與事實不符,因為應該進行產品搜尋並提供推薦。此外,回覆未能遵循規則,未使用 <tool: search_products> 進行查詢。
    錯誤陳述 (1)
    • 目前沒有查詢到適合夏天穿的產品推薦
  • 案例 5181CC10

    髮片特性是什麼?

    已完成
    第 1 次嘗試 · 已完成 8665ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 訂單政策相關:
                        - 詢問訂單成立通知規則
                        - 詢問一般訂單進度查詢
                        - 詢問訂單成立通知規則
                        - 詢問取消訂單規則
                        - 詢問取消退款規則
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers MUST be based on content output from <tool: search_knowledge_and_products>, NEVER fabricate
    - NEVER fabricate ANY information about: Product/service details • Policies • Promotional offers • Pre-sales/after-sales services • Real-time data (availability, pricing, inventory)
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledge_and_products> outputs
    - 
    - ## User Intent Analysis (CRITICAL - MUST FOLLOW):
    - FIRST analyze user's intent before deciding whether to mention products:
    - • If user is asking INFORMATIONAL questions (how/why/what/when/where questions about concepts, processes, or issues) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - • If user explicitly asks for product recommendations/suggestions/comparisons → Provide product information
    - • If user mentions specific product names/models → Provide product details
    - • If user expresses purchase intent (我想買/推薦給我/有什麼產品/需要購買) → Recommend products
    - 
    - ## Knowledge Response Rules:
    - If knowledge results found AND RELEVANT in tool messages: Provide accurate answers strictly based on knowledge outputs
    - 🚫 CRITICAL URL RULE - MUST FOLLOW: Output URLs in plain text only. Format MUST be 'Topic名稱: URL地址' (example: 客服表單: https://example.com). ABSOLUTELY FORBIDDEN: markdown format [text](url). NEVER write [客服表單](url), ALWAYS write 客服表單: url
    - Include ALL images with exact format: \n\n![](image_url)\n\n (Use ONLY image links from tool messages)
    - 
    - ## Product Response Rules (ONLY when user shows product interest):
    - IMPORTANT: Only mention products if user explicitly asks for products OR shows clear purchase intent
    - DO NOT say '不過我可以為您推薦一些產品' or similar phrases when user is just asking informational questions
    - If user wants product recommendations: Provide details: name, price, specifications, reason of recommendation
    - When comparing products (only if user asks), focus on valuable aspects for consumers:
    - • Specifications
    - • Suitable use scenarios
    - • Price
    - 
    - ## Response Integration Rules:
    - If both knowledge and products found, prioritize based on user's actual question:
    - • Information-seeking questions → Answer with knowledge ONLY
    - • Product-seeking questions → Include both knowledge context and product recommendations
    - • Mixed intent → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - NEVER force product recommendations into informational answers
    - 
    - ## No Results Handling (STRICTLY FOLLOW):
    - If search results are irrelevant or don't match user's query:
    - 1. DO NOT force-fit unrelated answers
    - 2. DO NOT use partially matching but conceptually different results
    - 3. Use this EXACT response based on situation:
    -    - General query without relevant results:
    -      - zh-CN: 很抱歉,您咨询的[specific_topic]暂未搜寻到相关信息,请提供您的UID/手机号/邮箱,为您转接客服处理
    -      - zh-TW: 很抱歉,您諮詢的[specific_topic]暫未搜尋到相關資訊,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -      - en (or other languages): Sorry, we couldn't find information about [specific_topic]. Please provide your UID/phone number/email to transfer you to customer service
    - NEVER say 'you can check at [wrong location]' when concepts don't match
    - If unable to answer at all, clearly explain and suggest transferring to human customer service
    - 
    - ## Language Style Rules:
    - MUST NOT mention or imply: 'knowledge base', 'database', 'system records', 'internal data', 'documentation', or similar sources
    - NEVER use robotic phrases: 「根據我們的資料」,「依照知識庫」,「知識庫中沒有找到資訊」,「系統記錄沒有相關資料」,'database shows', 'knowledge base entry'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - ## Examples of CORRECT vs WRONG Responses:
    - ❌ User asks: '訂單查詢'
    -    Wrong: '您可以在跟單首頁查看帶單數據' (混淆訂單與帶單)
    - ✅ Correct: '很抱歉,訂單查詢功能暫未搜尋到相關資訊,請提供您的UID/手機號/郵箱,為您轉接客服處理'
    - 
    - ❌ Search result about '帶單' when user asks about '訂單'
    -    Wrong: Use the search result anyway
    - ✅ Correct: Recognize concept mismatch, admit no relevant info found, offer human transfer
    - 
    - ## URL Handling:
    - If the <tool: search_knowledges> entry/entries contain 'url' key(s):
    - 1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -    'For more detailed information, please check:'
    -    '- [Topic 1/Question 1]: [URL 1]'
    -    '- [Topic 2/Question 2]: [URL 2]'
    - 
    - ## Image Handling:
    - If <tool: search_knowledges> content includes an image:
    - * Mandatory image inclusion:
    -   - Must include every image links, even if multiple images exist
    -   - No omission of any image links from the source material
    - * Image presentation:
    -   - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -   - Maintain the original order of images
    - * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    - 
    - ## Final Reminders:
    - All answers must be based on content output from tools, never fabricate
    - If multiple relevant answers found, combine them logically and clarify with the user
    - Strictly prohibit referencing, rewriting, or mixing content outside of tool outputs
    - When in doubt, transfer to human agent rather than provide wrong information
    - User satisfaction is more important than forcing an answer
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER髮片特性是什麼?
    BOT稍等一下我来帮您查询 💡 根據我的了解,髮片的特性相關資訊目前未查詢到。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 341 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 髮片的特性包括其功能、優點以及規格等
    II 重要
    III 補充
    0.0% · w 10%
    • 如果想了解更多詳細資訊,可以進一步查詢具體產品或特定需求
    AI 回覆
    稍等一下我来帮您查询 💡 根據我的了解,髮片的特性相關資訊目前未查詢到。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 髮片的特性包括其功能、優點以及規格等
    III 補充說明 w 10%
    • 如果想了解更多詳細資訊,可以進一步查詢具體產品或特定需求
    Judge 推理
    AI的回覆未能提供髮片的特性,且錯誤地聲稱未查詢到相關資訊,這與用戶的問題不符。回覆缺乏關鍵資訊,導致完整性和正確性得分低。
    錯誤陳述 (1)
    • 髮片的特性相關資訊目前未查詢到
  • 案例 DEB90D5A

    我最近遇到一個仿冒網站,怎麼驗證這個平台是官方的嗎?

    已完成
    第 1 次嘗試 · 已完成 14340ms
    腳本進度 · FAQ查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 FAQ查詢
    腳本規則
    - 品牌問題
    - 平台規則
    - 常見問題
    - 知識庫
    - 問答
    - 品牌相關問題
    
    FAQ 查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### search_parameters — 搜尋參數
    - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 如何申請退款 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_knowledges — 搜尋相關FAQ回答用戶問題
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
    - If multiple relevant answers found, combine them logically and clarify with the user.
    - If unable to answer, clearly explain and suggest human customer service assistance.
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
    - When answering questions:
    -   - First evaluate <tool: search_knowledges> output and conversation history
    -   - If you find **no** relevant entry in <tool: search_knowledges>:
    -     - Do not attempt to answer from general or background knowledge.
    -     - Use the following message based on language detection:
    -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
    -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
    - If the <tool: search_knowledges> entry/entries contain "url" key(s):
    -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -   2. MUST include ALL relevant URLs from matched FAQ entries after the summary using format:
    -      "For more detailed information, please check:
    -        - [Topic 1/Question 1]: [URL 1]
    -        - [Topic 2/Question 2]: [URL 2]"
    - If <tool: search_knowledges> content includes an image:
    -   * Mandatory image inclusion:
    -     - Include ALL image links that appear in the relevant FAQ section
    -     - Must include every image links, even if multiple images exist
    -     - No omission of any image links from the source material
    -   * Image presentation:
    -     - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -     - Maintain the original order of images
    -   * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我最近遇到一個仿冒網站,怎麼驗證這個平台是官方的嗎?
    BOT稍等一下我来帮您查询 💡 遇到仿冒網站時,建議您按照以下步驟驗證平台是否為WEEX官方: - 請務必通過WEEX官網上方的【官方验证通道】,輸入您要查詢的郵箱、Telegram帳號、微信等資訊,即可確認是否為官方渠道。 - 官方验证页面:https://www.weex.com/zh-CN/official-verification - WEEX也整理了已知的仿冒平台清單,建議您一併查閱,避免誤用:https://blog.weex.com/imposters-scam-tracker/ 如有疑慮,也可直接聯繫官方客服或VIP服務郵箱 support@weex.com 進行核實。 更多詳細資訊請參考: - 官方验证通道:https://www.weex.com/zh-CN/official-verification - 仿冒平台追蹤專區:https://blog.weex.com/imposters-scam-tracker/

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 214 · FAQ查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_knowledges
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 遇到仿冒網站時,建議您按照以下步驟驗證平台是否為WEEX官方: - 請務必通過WEEX官網上方的【官方验证通道】,輸入您要查詢的郵箱、Telegram帳號、微信等資訊,即可確認是否為官方渠道。 - 官方验证页面:https://www.weex.com/zh-CN/official-verification - WEEX也整理了已知的仿冒平台清單,建議您一併查閱,避免誤用:https://blog.weex.com/imposters-scam-tracker/ 如有疑慮,也可直接聯繫官方客服或VIP服務郵箱 support@weex.com 進行核實。 更多詳細資訊請參考: - 官方验证通道:https://www.weex.com/zh-CN/official-verification - 仿冒平台追蹤專區:https://blog.weex.com/imposters-scam-tracker/
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以在WEEX的官方網站上方點擊【官方驗證通道】
    • 輸入您要查詢的電子郵件、電報號、微信等,即可確認是否為官方渠道
    • 這裡是驗證頁面:https://www.weex.com/zh-CN/official-verification
    II 重要限制 w 30%
    • WEEX也特別整理了目前已知的仿冒平台,您可查看以避免誤使用: https://blog.weex.com/imposters-scam-tracker/
    Judge 推理
    這個回答完全符合用戶的問題,提供了驗證平台的具體步驟和相關網址,並且沒有任何錯誤的陳述。所有關鍵點都被涵蓋,因此在完整性和正確性上都得到了滿分。
  • 案例 7069BEAA

    我的訂單查詢怎麼用?

    已完成
    第 1 次嘗試 · 已完成 14776ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我的訂單查詢怎麼用?
    BOT稍等一下我来帮您查询 💡 您可以根据使用设备的不同,按照以下路径查询订单或划转记录: - App端:点击首页下方【资产】👉 点击上方【总览】👉 右侧【划转】👉 右上角【记录图标】,即可查看划转记录。 - 网页端:鼠标移动到首页上方的人像图标 👉 选择【划转】,即可查看相关记录。 如需进一步了解其他订单类型的查询方式,请说明您要查的是哪类订单(如现货、合约、C2C等),我会为您提供更详细的操作指引。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 216 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    40.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 請提供一些必要的個人資訊,像是您的姓名或訂單編號
    II 重要
    III 補充
    0.0% · w 10%
    • 當查詢到相關的訂單後,我會將它們邏輯性地結合在一起給您查看
    AI 回覆
    稍等一下我来帮您查询 💡 您可以根据使用设备的不同,按照以下路径查询订单或划转记录: - App端:点击首页下方【资产】👉 点击上方【总览】👉 右侧【划转】👉 右上角【记录图标】,即可查看划转记录。 - 网页端:鼠标移动到首页上方的人像图标 👉 选择【划转】,即可查看相关记录。 如需进一步了解其他订单类型的查询方式,请说明您要查的是哪类订单(如现货、合约、C2C等),我会为您提供更详细的操作指引。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供一些必要的個人資訊,像是您的姓名或訂單編號
    III 補充說明 w 10%
    • 當查詢到相關的訂單後,我會將它們邏輯性地結合在一起給您查看
    Judge 推理
    這個回覆未能要求用戶提供必要的個人資訊來查詢訂單,且缺少了邏輯性結合查詢結果的說明,因此在完整性和正確性上都得分不高。
  • 案例 15312A9B

    官方渠道怎麼驗證啊

    已完成
    第 1 次嘗試 · 已完成 12939ms
    腳本進度 · FAQ查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 FAQ查詢
    腳本規則
    - 品牌問題
    - 平台規則
    - 常見問題
    - 知識庫
    - 問答
    - 品牌相關問題
    
    FAQ 查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### search_parameters — 搜尋參數
    - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 如何申請退款 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_knowledges — 搜尋相關FAQ回答用戶問題
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
    - If multiple relevant answers found, combine them logically and clarify with the user.
    - If unable to answer, clearly explain and suggest human customer service assistance.
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
    - When answering questions:
    -   - First evaluate <tool: search_knowledges> output and conversation history
    -   - If you find **no** relevant entry in <tool: search_knowledges>:
    -     - Do not attempt to answer from general or background knowledge.
    -     - Use the following message based on language detection:
    -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
    -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
    - If the <tool: search_knowledges> entry/entries contain "url" key(s):
    -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -   2. MUST include ALL relevant URLs from matched FAQ entries after the summary using format:
    -      "For more detailed information, please check:
    -        - [Topic 1/Question 1]: [URL 1]
    -        - [Topic 2/Question 2]: [URL 2]"
    - If <tool: search_knowledges> content includes an image:
    -   * Mandatory image inclusion:
    -     - Include ALL image links that appear in the relevant FAQ section
    -     - Must include every image links, even if multiple images exist
    -     - No omission of any image links from the source material
    -   * Image presentation:
    -     - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -     - Maintain the original order of images
    -   * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER官方渠道怎麼驗證啊
    BOT正在为您搜寻最新资料 ⏳ 验证WEEX官方渠道的方法如下: - 进入WEEX官网,在页面上方点击【官方验证通道】 - 输入您要查询的邮箱、电报号、微信等信息 - 系统会自动帮您确认该联系方式是否为官方渠道 详细操作页面请参考: - 官方验证通道:https://www.weex.com/zh-CN/official-verification 如需进一步了解防范仿冒平台,也可查看: - 仿冒平台名单与防骗提醒:https://blog.weex.com/imposters-scam-tracker/ 如有疑问,建议优先通过上述官方验证页面核实。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 214 · FAQ查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_knowledges
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    正在为您搜寻最新资料 ⏳ 验证WEEX官方渠道的方法如下: - 进入WEEX官网,在页面上方点击【官方验证通道】 - 输入您要查询的邮箱、电报号、微信等信息 - 系统会自动帮您确认该联系方式是否为官方渠道 详细操作页面请参考: - 官方验证通道:https://www.weex.com/zh-CN/official-verification 如需进一步了解防范仿冒平台,也可查看: - 仿冒平台名单与防骗提醒:https://blog.weex.com/imposters-scam-tracker/ 如有疑问,建议优先通过上述官方验证页面核实。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以在WEEX的官网上方点击【官方验证通道】
    • 输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
    III 補充說明 w 10%
    • 验证页面: https://www.weex.com/zh-CN/official-verification
    Judge 推理
    這個回答完全符合用戶的查詢,提供了正確的驗證步驟和相關網址,且沒有任何錯誤或遺漏的資訊。
  • 案例 94E9B071

    請問我的訂單狀態如何查詢?

    已完成
    第 1 次嘗試 · 已完成 11002ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我的訂單狀態如何查詢?
    BOT稍等一下我来帮您查询 💡 根據我的了解,訂單狀態查詢的具體操作未有詳細說明。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 216 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 請提供您的個人資訊,以便我幫您查詢訂單狀態
    II 重要
    0.0% · w 30%
    • 如果未找到相關訂單,我也可以幫您聯繫客服協助
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 根據我的了解,訂單狀態查詢的具體操作未有詳細說明。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您的個人資訊,以便我幫您查詢訂單狀態
    II 重要限制 w 30%
    • 如果未找到相關訂單,我也可以幫您聯繫客服協助
    Judge 推理
    回覆未能提供用戶所需的個人資訊以查詢訂單狀態,且建議聯繫真人客服的說法不符合規範。
    錯誤陳述 (1)
    • 訂單狀態查詢的具體操作未有詳細說明
  • 案例 3413346A

    查詢FAQ時,我需要提供什麼搜尋參數?

    已完成
    第 1 次嘗試 · 已完成 19623ms
    腳本進度 · FAQ查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 FAQ查詢
    腳本規則
    - 品牌問題
    - 平台規則
    - 常見問題
    - 知識庫
    - 問答
    - 品牌相關問題
    
    FAQ 查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### search_parameters — 搜尋參數
    - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 如何申請退款 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_knowledges — 搜尋相關FAQ回答用戶問題
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
    - If multiple relevant answers found, combine them logically and clarify with the user.
    - If unable to answer, clearly explain and suggest human customer service assistance.
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
    - When answering questions:
    -   - First evaluate <tool: search_knowledges> output and conversation history
    -   - If you find **no** relevant entry in <tool: search_knowledges>:
    -     - Do not attempt to answer from general or background knowledge.
    -     - Use the following message based on language detection:
    -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
    -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
    -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
    - If the <tool: search_knowledges> entry/entries contain "url" key(s):
    -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
    -   2. MUST include ALL relevant URLs from matched FAQ entries after the summary using format:
    -      "For more detailed information, please check:
    -        - [Topic 1/Question 1]: [URL 1]
    -        - [Topic 2/Question 2]: [URL 2]"
    - If <tool: search_knowledges> content includes an image:
    -   * Mandatory image inclusion:
    -     - Include ALL image links that appear in the relevant FAQ section
    -     - Must include every image links, even if multiple images exist
    -     - No omission of any image links from the source material
    -   * Image presentation:
    -     - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
    -     - Maintain the original order of images
    -   * Critical rule: Only use image links from <tool: search_knowledges> - never create new ones
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER查詢FAQ時,我需要提供什麼搜尋參數?
    BOT稍等一下我来帮您查询 💡 查询FAQ时,建议您直接输入您的问题关键词,例如“充值不到账”、“提币限制”、“活动参与条件”等。这样可以更快定位到相关解答。如果涉及账户或资金问题,通常需要提供以下信息: - 账户信息(UID/手机号/邮箱,三选一) - 相关截图(如支付明细、风控提示页面等) - 交易哈希值(如涉及区块链转账) 更多常见问题与操作指引,您可以访问: - 教程中心: https://www.weex.com/zh-CN/help/categories/4410757386393-%E6%95%99%E7%A8%8B%E4%B8%AD%E5%BF%83 - Q&A: https://www.weex.com/zh-CN/questions 如需进一步协助,请补充具体问题内容,我会为您精准导航!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 214 · FAQ查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_knowledges
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 您必須提供兩個搜尋參數
    • query(必填):您想了解的主要問題或主題,字數範圍在3到20字
    • keywords_or_codes(必填):您訊息中出現的所有代碼或標籤,如沒有則為空陣列
    II 重要
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 查询FAQ时,建议您直接输入您的问题关键词,例如“充值不到账”、“提币限制”、“活动参与条件”等。这样可以更快定位到相关解答。如果涉及账户或资金问题,通常需要提供以下信息: - 账户信息(UID/手机号/邮箱,三选一) - 相关截图(如支付明细、风控提示页面等) - 交易哈希值(如涉及区块链转账) 更多常见问题与操作指引,您可以访问: - 教程中心: https://www.weex.com/zh-CN/help/categories/4410757386393-%E6%95%99%E7%A8%8B%E4%B8%AD%E5%BF%83 - Q&A: https://www.weex.com/zh-CN/questions 如需进一步协助,请补充具体问题内容,我会为您精准导航!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您必須提供兩個搜尋參數
    • query(必填):您想了解的主要問題或主題,字數範圍在3到20字
    • keywords_or_codes(必填):您訊息中出現的所有代碼或標籤,如沒有則為空陣列
    Judge 推理
    AI助手的回答雖然提供了一些建議,但未能正確列出查詢FAQ所需的兩個搜尋參數,且包含了不正確的資訊,導致完整性和正確性得分低。
    錯誤陳述 (1)
    • AI助手的回答中提到的搜尋參數不符合正確的要求
  • 案例 DD252854

    如果找不到我的訂單,該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 8636ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如果找不到我的訂單,該怎麼辦?
    BOT马上为您找找看相关内容 📋 如果您找不到自己的訂單,請按照以下步驟操作: - 請提供您的UID、手機號或郵箱(三選一),我們會為您轉接人工客服協助查詢。 - 若您沒有UID,可以在需要輸入UID的地方填寫6個0,以便順利轉接到真人客服。 如涉及充值、買幣或提幣等資金相關問題,也請一併準備相關明細截圖和交易哈希值,方便客服快速處理。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 216 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    80.0%
    相關性
    90.0%
    完整性
    60.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 提供客戶服務的協助
    II 重要
    III 補充
    AI 回覆
    马上为您找找看相关内容 📋 如果您找不到自己的訂單,請按照以下步驟操作: - 請提供您的UID、手機號或郵箱(三選一),我們會為您轉接人工客服協助查詢。 - 若您沒有UID,可以在需要輸入UID的地方填寫6個0,以便順利轉接到真人客服。 如涉及充值、買幣或提幣等資金相關問題,也請一併準備相關明細截圖和交易哈希值,方便客服快速處理。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 如果找不到相關訂單,我會幫你確認並提供客戶服務的協助
    Judge 推理
    回覆中提到的步驟雖然與查詢訂單相關,但未直接回應用戶的問題,缺少提供客戶服務協助的明確說明,因此在完整性上有所不足。
  • 案例 DBD97F53

    查詢訂單要提供什麼個人資訊?

    已完成
    第 1 次嘗試 · 已完成 10474ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER查詢訂單要提供什麼個人資訊?
    BOT正在为您搜寻最新资料 ⏳ 查询订单时,您需要提供以下个人信息(任选其一): - UID - 手机号 - 邮箱 如涉及充值未到账等问题,还建议同时提供支付明细截图和哈希值,以便客服为您快速查询处理。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 216 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    40.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 必須提供必要的個人資訊才能獲得相關的訂單詳情
    • 可以查詢運送狀態或購買歷史
    II 重要
    III 補充
    AI 回覆
    正在为您搜寻最新资料 ⏳ 查询订单时,您需要提供以下个人信息(任选其一): - UID - 手机号 - 邮箱 如涉及充值未到账等问题,还建议同时提供支付明细截图和哈希值,以便客服为您快速查询处理。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 必須提供必要的個人資訊才能獲得相關的訂單詳情
    • 可以查詢運送狀態或購買歷史
    Judge 推理
    回覆中提到的個人資訊並不是查詢訂單所需的必要資訊,且未完整回答用戶的問題,導致相關性和完整性分數偏低。
    錯誤陳述 (1)
    • 提供的個人資訊(UID、手机号、邮箱)不符合查詢訂單所需的必要資訊
項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
44.4%
[11.1% – 77.8%] · n=9
F1 14.3% · 相關率 16.1% · 精確 19.6%
9 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
77.8%
[44.4% – 100.0%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
69.3%
[47.7% – 88.7%] · n=10
10 / 10 適用
  • 案例 59984CA8

    分仓最多可以開幾筆委託?

    已完成
    第 1 次嘗試 · 已完成 7259ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER分仓最多可以開幾筆委託?
    BOT正在为您搜寻最新资料 ⏳ 分仓模式下,最多可以同时持有10笔交易委托。

    知識檢索

    100.0%
    Precision
    16.7%
    Recall
    100.0%
    F1
    28.6%
    預期 (1)
    • know_191497
    意料之外 (5)
    • ! know_191496
    • ! know_191482
    • ! know_191852
    • ! know_191619
    • ! know_191526
    TP 1
    FP 5
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,並且所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 最多可以同时持仓10笔交易
    II 重要
    III 補充
    AI 回覆
    正在为您搜寻最新资料 ⏳ 分仓模式下,最多可以同时持有10笔交易委托。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 最多可以同时持仓10笔交易
    Judge 推理
    回覆中提到的「最多可以同时持有10笔交易委托」與正確答案的「最多可以同时持仓10笔交易」在意義上相符,但未完全符合原文的用詞,導致完整性得分較低。
  • 案例 0796A9BB

    有什麼推薦的商品啊?

    已完成
    第 1 次嘗試 · 已完成 11072ms
    腳本進度 · 產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 產品查詢
    腳本規則
    - 商品/產品
    - 推薦/介紹
    - 我想要/我需要
    
    產品查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### product_search_parameters — 商品搜尋參數
    - query [string] (必填): 用戶當前最想查詢或推薦的商品、需求或關鍵主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [array] (必填): 用戶訊息中出現的所有商品關鍵字、型號、代碼,如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 最新款無線耳機 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_products — 搜尋相關產品或服務資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All recommendations must be based on content output from <tool: search_products>, never fabricate.
    - If multiple relevant orders found, combine them logically
    - If unable to recommend, clearly explain and suggest human customer service assistance.
    - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_products> outputs.
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER有什麼推薦的商品啊?
    BOT正在为您搜寻最新资料 ⏳ 根據目前的資料,暫未查詢到具體的推薦商品資訊。如果您有特定類型或需求,請補充說明,我會為您查找更合適的商品。若需其他協助,也可隨時告知!
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    83.3%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    10.0% · w 10%
    • 請告訴我您想查詢的商品或需求
    AI 回覆
    正在为您搜寻最新资料 ⏳ 根據目前的資料,暫未查詢到具體的推薦商品資訊。如果您有特定類型或需求,請補充說明,我會為您查找更合適的商品。若需其他協助,也可隨時告知!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請告訴我您想查詢的商品或需求
    Judge 推理
    回覆中雖然詢問了用戶的需求,但未能提供具體的商品推薦,且未完全遵循規則要求。
  • 案例 61EB7A7D

    如何切換不同法幣顯示?

    已完成
    第 1 次嘗試 · 已完成 14449ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如何切換不同法幣顯示?
    BOT稍等一下我来帮您查询 💡 根據我的了解,關於「切換不同法幣顯示」的操作,目前未查詢到具體的步驟說明。為了確保準確,建議你跟真人客服確認一下喔!

    知識檢索

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191663
    意料之外 (5)
    • ! know_191435
    • ! know_191547
    • ! know_191679
    • ! know_191489
    • ! know_191546
    TP 0
    FP 5
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的關於切換法幣顯示的操作並未在提供的來源中找到支持,因此所有相關的聲明都被視為幻覺。
    幻覺陳述 (1)
    • 關於「切換不同法幣顯示」的操作,目前未查詢到具體的步驟說明

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 在首頁點擊左上的【功能圖標】>【通用設定】>【計價方式】即可切換法幣顯示
    II 重要
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 根據我的了解,關於「切換不同法幣顯示」的操作,目前未查詢到具體的步驟說明。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 在首頁點擊左上的【功能圖標】>【通用設定】>【計價方式】即可切換法幣顯示
    Judge 推理
    回覆未能提供正確的切換法幣顯示步驟,且建議用戶聯繫真人客服,這與用戶的需求不符。
    錯誤陳述 (1)
    • 未查詢到具體的步驟說明
  • 案例 7B46F3F7

    充入不支持的幣種怎麼辦

    已完成
    第 1 次嘗試 · 已完成 14794ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER充入不支持的幣種怎麼辦
    BOT稍等一下我来帮您查询 💡 若您充值了平台暂不支持的币种,目前平台无法协助找回或退款处理。为避免类似问题再次发生,建议您在今后充值前,务必仔细核实平台支持的币种与链类型信息。 如需进一步帮助,可联系客户服务:@weikecs 要了解更多详细信息,请查看: - 教程中心: https://www.weex.com/zh-CN/help/categories/4410757386393-%E6%95%99%E7%A8%8B%E4%B8%AD%E5%BF%83 - Q&A: https://www.weex.com/zh-CN/questions

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_191385
    意料之外 (4)
    • ! know_191386
    • ! know_191387
    • ! know_171815
    • ! know_171816
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料中的資訊,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 若您充值了平台暂不支持的币种,目前平台无法协助找回或退款处理。为避免类似问题再次发生,建议您在今后充值前,务必仔细核实平台支持的币种与链类型信息。 如需进一步帮助,可联系客户服务:@weikecs 要了解更多详细信息,请查看: - 教程中心: https://www.weex.com/zh-CN/help/categories/4410757386393-%E6%95%99%E7%A8%8B%E4%B8%AD%E5%BF%83 - Q&A: https://www.weex.com/zh-CN/questions
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 若您充入的幣種目前平台暫不支持,我們無法協助您找回或退款處理
    II 重要限制 w 30%
    • 建議您在今後充值前,務必仔細核實平台支持的幣種與鏈類型資訊
    Judge 推理
    回覆內容針對用戶的問題提供了正確的解決方案,並且涵蓋了所有核心和重要限制的要點。雖然提供了額外的聯絡資訊,但未包含補充 CTA,故完整性略有扣分。
  • 案例 E7A3782E

    請問我在 App 中要怎麼綁定錢包?

    已完成
    第 1 次嘗試 · 已完成 35412ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我在 App 中要怎麼綁定錢包?
    BOT正在为您搜寻最新资料 ⏳ 根據目前查詢結果,暫未找到「App 綁定錢包」的具體操作步驟。為了確保準確,建議你直接聯繫WEEX客服確認詳細流程: - 客服Bot:[@WEEX_support_smart_Bot](https://t.me/WEEX_support_smart_Bot) - VIP服務郵箱:support@weex.com 你也可以前往WEEX官方幫助中心查看更多操作指引: - 幫助中心: https://www.weex.com/zh-CN/help 如需進一步協助,請告知你的UID、手機號或郵箱,我可以為你轉接人工客服處理。

    知識檢索

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191394
    意料之外 (5)
    • ! know_191428
    • ! know_191421
    • ! know_191422
    • ! know_191652
    • ! know_182142
    TP 0
    FP 5
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    回覆中提到的「App 綁定錢包」的具體操作步驟並未在提供的來源中找到支持,因此所有相關的聲明都被判定為幻覺。
    幻覺陳述 (3)
    • 暫未找到「App 綁定錢包」的具體操作步驟
    • 建議你直接聯繫WEEX客服確認詳細流程
    • 你也可以前往WEEX官方幫助中心查看更多操作指引

    回答品質

    0.0%
    相關性
    0.0%
    完整性
    0.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 請在首頁下方點擊【資產】>【提幣】
    • 點擊提幣地址右方的【筆記本圖標】
    • 即可自行添加您的錢包地址
    II 重要
    III 補充
    AI 回覆
    正在为您搜寻最新资料 ⏳ 根據目前查詢結果,暫未找到「App 綁定錢包」的具體操作步驟。為了確保準確,建議你直接聯繫WEEX客服確認詳細流程: - 客服Bot:[@WEEX_support_smart_Bot](https://t.me/WEEX_support_smart_Bot) - VIP服務郵箱:support@weex.com 你也可以前往WEEX官方幫助中心查看更多操作指引: - 幫助中心: https://www.weex.com/zh-CN/help 如需進一步協助,請告知你的UID、手機號或郵箱,我可以為你轉接人工客服處理。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請在首頁下方點擊【資產】>【提幣】
    • 點擊提幣地址右方的【筆記本圖標】
    • 即可自行添加您的錢包地址
    Judge 推理
    回覆完全未針對用戶的問題提供具體的操作步驟,且未包含任何正確的資訊,導致無法滿足用戶需求。
  • 案例 E671E8E7

    WEEX的官方X社群網址是多少?

    已完成
    第 1 次嘗試 · 已完成 10986ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERWEEX的官方X社群網址是多少?
    BOT稍等一下我来帮您查询 💡 WEEX的官方X(原Twitter)社群網址为:x.com/WEEX_Official 如需验证其他官方渠道,您也可以通过WEEX官网的官方验证通道进行核查,确保信息安全。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_191717
    意料之外 (4)
    • ! know_191716
    • ! know_191719
    • ! know_191721
    • ! know_191722
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回复中提到的WEEX官方X社群網址完全符合來源資料,且提供了額外的驗證資訊,所有事實陳述均有來源支持,因此沒有虛構的內容。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 WEEX的官方X(原Twitter)社群網址为:x.com/WEEX_Official 如需验证其他官方渠道,您也可以通过WEEX官网的官方验证通道进行核查,确保信息安全。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 官方X社群網址是 x.com/WEEX_Official
    Judge 推理
    這個回答完全符合用戶的查詢,提供了正確的官方X社群網址,並且沒有遺漏任何關鍵資訊。
  • 案例 AB0AE271

    我已經設定的止盈止損可以改嗎?

    已完成
    第 1 次嘗試 · 已完成 13873ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我已經設定的止盈止損可以改嗎?
    BOT马上为您找找看相关内容 📋 您好,止盈止損設定後是可以修改的。請按照以下步驟操作: - 進入倉位頁面 - 點擊止盈止損旁的【筆圖標】 - 修改您想要的止盈或止損價格即可 如需更詳細操作說明,建議您隨時聯繫在線客服。

    知識檢索

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191847
    意料之外 (5)
    • ! know_191453
    • ! know_191524
    • ! know_191635
    • ! know_191638
    • ! know_191431
    TP 0
    FP 5
    FN 1

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到止盈止損設定可以修改,並提供了具體的操作步驟,這些內容都與來源材料相符,因此沒有虛構的聲明,且所有的事實陳述都有來源支持。

    回答品質

    90.0%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 修改後確認即可生效
    II 重要
    III 補充
    AI 回覆
    马上为您找找看相关内容 📋 您好,止盈止損設定後是可以修改的。請按照以下步驟操作: - 進入倉位頁面 - 點擊止盈止損旁的【筆圖標】 - 修改您想要的止盈或止損價格即可 如需更詳細操作說明,建議您隨時聯繫在線客服。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以再次在 K 線圖上拖動原本的止盈線或止損線直接調整
    • 修改後確認即可生效
    Judge 推理
    回覆中提到止盈止損設定可以修改,並提供了操作步驟,符合問題要求,但缺少了「修改後確認即可生效」這個關鍵點,因此完整性得分較低。
  • 案例 867B1E80

    為什麼抽獎活動的獎勵無法領取?

    已完成
    第 1 次嘗試 · 已完成 12693ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER為什麼抽獎活動的獎勵無法領取?
    BOT稍等一下我来帮您查询 💡 抽獎活動的獎勵無法領取,可能原因如下: - 系統偵測到異常交易而取消資格 - 參與方式或條件不符活動規則 建議您可以將遇到的狀況截圖,並聯繫我們的客服進一步核查。更多相關說明可參考:合約挖礦交易量未被計算原因: https://www.weex.com/zh-CN/events/futures-trading/trade-to-earn 如需進一步協助,請提供您的UID/手機號/電子郵件,我們會為您轉接人工客服處理。

    知識檢索

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191747
    意料之外 (10)
    • ! know_191449
    • ! know_191633
    • ! know_191767
    • ! know_191445
    • ! know_191395
    • ! know_191398
    • ! know_191761
    • ! know_191648
    • ! know_191396
    • ! know_105987
    TP 0
    FP 10
    FN 1

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的獎勵無法領取的原因,與來源中的內容相符,特別是提到的系統偵測到異常交易而取消資格的說法。所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    83.3%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 若您頁面出現風控提示,則證明您的帳戶未通過系統審核
    • 不滿足活動風控條件,所以無法參與並領取活動獎勵
    II 重要
    0.0% · w 30%
    • 不影響您參與官網其他活動
    III 補充
    10.0% · w 10%
    • 感謝您的理解
    AI 回覆
    稍等一下我来帮您查询 💡 抽獎活動的獎勵無法領取,可能原因如下: - 系統偵測到異常交易而取消資格 - 參與方式或條件不符活動規則 建議您可以將遇到的狀況截圖,並聯繫我們的客服進一步核查。更多相關說明可參考:合約挖礦交易量未被計算原因: https://www.weex.com/zh-CN/events/futures-trading/trade-to-earn 如需進一步協助,請提供您的UID/手機號/電子郵件,我們會為您轉接人工客服處理。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 若您頁面出現風控提示,則證明您的帳戶未通過系統審核
    • 不滿足活動風控條件,所以無法參與並領取活動獎勵
    II 重要限制 w 30%
    • 不影響您參與官網其他活動
    III 補充說明 w 10%
    • 感謝您的理解
    Judge 推理
    回覆中提到的獎勵無法領取的原因與事實相符,但未完整涵蓋所有關鍵點,特別是風控提示的說明及對其他活動的影響。此外,缺少感謝理解的補充語句。
  • 案例 998B588F

    現貨價格保護是根據什麼設定的?

    已完成
    第 1 次嘗試 · 已完成 11111ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER現貨價格保護是根據什麼設定的?
    BOT稍等一下我来帮您查询 💡 根據我的了解,現貨價格保護的設定方式暫未查詢到具體資料。為了確保準確,建議你跟真人客服確認一下喔!

    知識檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_191801
    TP 0
    FP 0
    FN 1

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 現貨價格保護的範圍是 ±10%
    • 是根據市場平均深度及用戶交易體驗設置的默認值
    II 重要
    0.0% · w 30%
    • 若整體流動性提升,平台會評估是否調整比例
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 根據我的了解,現貨價格保護的設定方式暫未查詢到具體資料。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 現貨價格保護的範圍是 ±10%
    • 是根據市場平均深度及用戶交易體驗設置的默認值
    II 重要限制 w 30%
    • 若整體流動性提升,平台會評估是否調整比例
    Judge 推理
    這個回答未能提供現貨價格保護的具體設定資訊,且沒有回答用戶的問題,導致相關性和完整性都很低。
  • 案例 1393C1A2

    我邀请的好友為什麼沒拿到獎勵?

    已完成
    第 1 次嘗試 · 已完成 20299ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我邀请的好友為什麼沒拿到獎勵?
    BOT马上为您找找看相关内容 📋 邀请好友未获得奖励,常见原因包括: - 好友尚未完成指定任务,或奖励发放时间未到(如需人工审核或遇节假日会顺延)。 - 邀请关系需要核实,或好友不符合“新注册用户”及有效交易等活动要求。 - 若有违规行为(如批量注册、恶意刷量、作弊等),平台会取消奖励资格。 - 受邀人需完成身份认证、绑定手机号与邮箱,并满足活动地区及账户唯一性等条件。 ✅ 建议操作: 1. 请提供邀请记录截图(包含好友UID)和您的账户信息(UID/手机号/邮箱任选一),我们将协助联系人工客服核查具体原因。 2. 奖励发放及规则详情可参考:邀请好友活动规则:https://www.weex.com/zh-CN/useragent 如有疑问,可随时补充信息,我们帮您进一步处理!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_182152
    意料之外 (4)
    • ! know_191730
    • ! know_191731
    • ! know_191735
    • ! know_191732
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆內容完全基於來源材料,所有提到的原因和建議均有來源支持,因此沒有虛構的聲明。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    50.0% · w 30%
    • 需要提供邀請記錄截圖(包含好友 UID)及您的帳戶信息(UID / 手機號 / 郵箱選擇一個)
    III 補充
    AI 回覆
    马上为您找找看相关内容 📋 邀请好友未获得奖励,常见原因包括: - 好友尚未完成指定任务,或奖励发放时间未到(如需人工审核或遇节假日会顺延)。 - 邀请关系需要核实,或好友不符合“新注册用户”及有效交易等活动要求。 - 若有违规行为(如批量注册、恶意刷量、作弊等),平台会取消奖励资格。 - 受邀人需完成身份认证、绑定手机号与邮箱,并满足活动地区及账户唯一性等条件。 ✅ 建议操作: 1. 请提供邀请记录截图(包含好友UID)和您的账户信息(UID/手机号/邮箱任选一),我们将协助联系人工客服核查具体原因。 2. 奖励发放及规则详情可参考:邀请好友活动规则:https://www.weex.com/zh-CN/useragent 如有疑问,可随时补充信息,我们帮您进一步处理!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 邀請獎勵未到账可能是因為好友任務尚未完成
    • 獎勵發放時間未到
    • 邀請關係需要核實
    II 重要限制 w 30%
    • 需要提供邀請記錄截圖(包含好友 UID)及您的帳戶信息(UID / 手機號 / 郵箱選擇一個)
    Judge 推理
    回覆內容針對用戶的問題提供了相關原因,並且涵蓋了大部分的關鍵點,但缺少了獎勵發放時間未到的說明,且未完整提供所需的帳戶信息。