執行 #246

WEEX Agent (bulk R1) → production-canary (canary)

狀態
已完成
案例
15
開始時間
16 May 12:37
耗時
570.6s
¶ Economics · Bot-side N=15 attempts

Cost & Tokens

$0.1777
Total Bot Cost · USD
34.0%
Prompt Cache Hit
cost per case
$0.0118
cost per 1k tokens
$0.0017
input tokens
102,258
output tokens
3,177
cached tokens — prompt-cache hit
34,816
Total Tokens
105,435
economic efficiency
cost per correct
$0.0020
pass rate
46.7%
7 / 15
judge cost
$0.0137
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 64c058af-16c4-4296-8860-2998d12edcfc 626 筆 KB
    SystemPrompt: sha256:300c78f1 KBContent: sha256:8b9c1e29 Tools: sha256:d457a435 Scenarios: sha256:be712ed6 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
15 / 15
錯誤
0
失敗維度
4
首字延遲 p95
8574 ms
Bot 成本(Neptune)
$0.1777
Bot Tokens(Neptune)
105,435
Judge 成本(Eris)
$0.0137
Judge Tokens(Eris)
99,750
項目 I.

知識庫精準度

kb_accuracy 4 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=4
F1 33.3% · 相關率 45.0% · 精確 20.0%
4 / 4 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=4
4 / 4 適用
答得到位 平均
answer_quality
82.5%
[63.3% – 95.8%] · n=4
4 / 4 適用
  • 案例 ECCCF883

    怎麼申請成為 P2P 商戶?

    已完成
    第 1 次嘗試 · 已完成 45559ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:search_knowledges
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER怎麼申請成為 P2P 商戶?
    BOT讓我幫您查詢一下相關資訊 🔍 申請成為 WEEX P2P 商戶的步驟如下: 1. 賬戶要求 - 完成身份認證(KYC) - 保持良好的賬戶狀態,無違規記錄 2. 資金與保證金 - 需繳納一定數額的保證金(用於保障交易安全,申請後會凍結) - 需具備充足的資金和流動性 3. 交易能力要求 - 穩定在線,響應及時 - 能夠及時處理訂單並與用戶有效溝通 - 熟悉P2P交易流程和規則 4. 風控與合規要求 - 不得從事洗錢、詐騙等非法活動 - 必須遵守平台所有P2P交易規則 5. 額外優勢(非必須,但有助於審核) - 有其他主流P2P平台經驗 - 擁有穩定的收付款渠道 - 歷史訂單完成率高 申請方式: - 通過 WEEX 官方入口提交商戶申請,審核通過後即可獲得商戶權限並發布廣告。 申請入口:WEEX P2P商戶全球招募: https://www.weex.com/buy-crypto/apply-merchant ✅ 無需支付申請費用,但會凍結保證金。 如需詳細操作指引,可參考:商家指南: https://www.weex.com/help/sections/49362768028441 如有其他疑問,歡迎隨時提問!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_337986
    意料之外 (4)
    • ! know_338010
    • ! know_337973
    • ! know_338019
    • ! know_338009
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全基於來源材料,所有的事實陳述都有相應的支持,因此沒有虛構的聲明。回覆中的每一個步驟和要求都能在來源中找到相應的依據。

    回答品質

    90.0%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • WEEX 正在全球招募 P2P 商戶
    • 只接受具有一定交易經驗和流動性的專業交易者的申請
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 申請成為 WEEX P2P 商戶的步驟如下: 1. 賬戶要求 - 完成身份認證(KYC) - 保持良好的賬戶狀態,無違規記錄 2. 資金與保證金 - 需繳納一定數額的保證金(用於保障交易安全,申請後會凍結) - 需具備充足的資金和流動性 3. 交易能力要求 - 穩定在線,響應及時 - 能夠及時處理訂單並與用戶有效溝通 - 熟悉P2P交易流程和規則 4. 風控與合規要求 - 不得從事洗錢、詐騙等非法活動 - 必須遵守平台所有P2P交易規則 5. 額外優勢(非必須,但有助於審核) - 有其他主流P2P平台經驗 - 擁有穩定的收付款渠道 - 歷史訂單完成率高 申請方式: - 通過 WEEX 官方入口提交商戶申請,審核通過後即可獲得商戶權限並發布廣告。 申請入口:WEEX P2P商戶全球招募: https://www.weex.com/buy-crypto/apply-merchant ✅ 無需支付申請費用,但會凍結保證金。 如需詳細操作指引,可參考:商家指南: https://www.weex.com/help/sections/49362768028441 如有其他疑問,歡迎隨時提問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • WEEX 正在全球招募 P2P 商戶
    • 只接受具有一定交易經驗和流動性的專業交易者的申請
    III 補充說明 w 10%
    • 可以在這裡申請: https://www.weex.com/buy-crypto/apply-merchant
    Judge 推理
    回覆提供了申請成為 P2P 商戶的詳細步驟,但未提及 WEEX 正在全球招募 P2P 商戶的訊息,也未強調申請者需具備交易經驗和流動性,因此在完整性上有所欠缺。
  • 案例 77CB5C8C

    WEEX支持用OTC或Express Buy存款嗎?

    已完成
    第 1 次嘗試 · 已完成 36065ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:search_knowledges
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERWEEX支持用OTC或Express Buy存款嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 WEEX支持通过OTC(场外交易)和Express Buy(快捷买币)进行存款。您可以在APP内点击「资产」→「买币」,选择「快捷买币」(适合小额,支持信用卡、USD等)或「OTC买币」(适合大额,通过第三方商户如ChipPay等完成)。请务必通过系统跳转的官方渠道操作,避免资金风险。 详细操作指引与常见问题可参考以下页面: - 快捷买币/OTC帮助分类: https://www.weex.com/zh-CN/help/categories/4467195499673 - 买币指南: https://www.weex.com/help/articles/5540585929753 如需进一步协助,请告知您的具体需求!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_338066
    意料之外 (4)
    • ! know_288078
    • ! know_288080
    • ! know_338065
    • ! know_288101
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    56.7%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 目前 WEEX C2C 不支援人民幣 (CNY) 交易
    • 建議選擇其他支援的法定貨幣或使用 OTC / Express Buy 進行存款
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 WEEX支持通过OTC(场外交易)和Express Buy(快捷买币)进行存款。您可以在APP内点击「资产」→「买币」,选择「快捷买币」(适合小额,支持信用卡、USD等)或「OTC买币」(适合大额,通过第三方商户如ChipPay等完成)。请务必通过系统跳转的官方渠道操作,避免资金风险。 详细操作指引与常见问题可参考以下页面: - 快捷买币/OTC帮助分类: https://www.weex.com/zh-CN/help/categories/4467195499673 - 买币指南: https://www.weex.com/help/articles/5540585929753 如需进一步协助,请告知您的具体需求!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 目前 WEEX C2C 不支援人民幣 (CNY) 交易
    • 建議選擇其他支援的法定貨幣或使用 OTC / Express Buy 進行存款
    Judge 推理
    回覆中提到WEEX支持OTC和Express Buy存款,但根據正確答案,WEEX C2C不支援人民幣交易,這是錯誤的。此外,回覆未提及建議選擇其他法定貨幣的內容,因此完整性不足。
    錯誤陳述 (1)
    • WEEX支持通过OTC(场外交易)和Express Buy(快捷买币)进行存款
  • 案例 0073F8E7

    OTC銷售的最低訂單金額是多少?

    已完成
    第 1 次嘗試 · 已完成 43148ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:search_knowledges
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USEROTC銷售的最低訂單金額是多少?
    BOT稍等一下我来帮您查询 💡 OTC銷售的最低訂單金額為每單1,000元人民幣。每日最高限額為5,000 USDT,限額每天00:00(UTC+8)重置。如果下單金額未達到要求,系統會有提示。 如需詳細操作指引,可參考 快捷买币/OTC: https://www.weex.com/zh-CN/help/categories/4467195499673 ⚠️ 提醒:若有特殊需求或遇到下單限制,建議提前規劃交易金額,避免影響您的交易體驗。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_288095
    意料之外 (4)
    • ! know_288094
    • ! know_288092
    • ! know_288098
    • ! know_288096
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的OTC銷售最低訂單金額和每日最高限額均有來源支持,因此這些聲明被視為有根據的。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 OTC銷售的最低訂單金額為每單1,000元人民幣。每日最高限額為5,000 USDT,限額每天00:00(UTC+8)重置。如果下單金額未達到要求,系統會有提示。 如需詳細操作指引,可參考 快捷买币/OTC: https://www.weex.com/zh-CN/help/categories/4467195499673 ⚠️ 提醒:若有特殊需求或遇到下單限制,建議提前規劃交易金額,避免影響您的交易體驗。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • OTC銷售的最低訂單金額為 1,000 CNY
    Judge 推理
    回覆中清楚地提供了OTC銷售的最低訂單金額,並且沒有錯誤的陳述,符合預期的回覆風格。
  • 案例 E2966C5F

    使用 quick buy 時,怎麼選擇支付方式?

    已完成
    第 1 次嘗試 · 已完成 36773ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:search_knowledges
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER使用 quick buy 時,怎麼選擇支付方式?
    BOT讓我幫您查詢一下相關資訊 🔍 使用 WEEX 的 Quick Buy(快捷买币)时,选择支付方式的步骤如下: 网页版操作路径: 1. 点击首页导航栏的「买币」并选择「快捷买币」。 2. 选择法币和想要购买的加密货币,输入购买金额。 3. 在页面上直接选择你偏好的支付方式(可选项会根据你选择的法币自动显示)。 4. 点击「买币」继续,确认订单信息后,系统会跳转到第三方支付页面完成付款。 APP 操作路径: 1. 打开 WEEX App,点击「充值/资产」→「买币」。 2. 选择「快捷买币」,选定法币、加密货币和支付方式。 3. 点击「买币」继续,确认订单信息后跳转第三方支付页面完成付款。 ⚠️ 注意:可用的支付方式会根据你所选的法币不同而有所变化,请以实际页面显示为准。 如需详细操作指引,可参考以下帮助中心内容: - 快捷买币/OTC: https://www.weex.com/zh-CN/help/categories/4467195499673 - 买币指南: https://www.weex.com/zh-CN/help/sections/5537652277017 有其他关于支付方式的问题欢迎随时提问!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_288079
    意料之外 (4)
    • ! know_288081
    • ! know_288078
    • ! know_195955
    • ! know_288092
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆完全基於來源材料,所有的步驟和注意事項都有來源支持,因此沒有虛構的聲明。回覆中的每個事實性陳述都可以引用來源,符合要求。

    回答品質

    83.3%
    相關性
    100.0%
    完整性
    50.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 在使用 Quick Buy 時,請在點擊「Buy Crypto」後,選擇您希望的支付方式
    • 然後點擊「Buy Crypto」以繼續
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 使用 WEEX 的 Quick Buy(快捷买币)时,选择支付方式的步骤如下: 网页版操作路径: 1. 点击首页导航栏的「买币」并选择「快捷买币」。 2. 选择法币和想要购买的加密货币,输入购买金额。 3. 在页面上直接选择你偏好的支付方式(可选项会根据你选择的法币自动显示)。 4. 点击「买币」继续,确认订单信息后,系统会跳转到第三方支付页面完成付款。 APP 操作路径: 1. 打开 WEEX App,点击「充值/资产」→「买币」。 2. 选择「快捷买币」,选定法币、加密货币和支付方式。 3. 点击「买币」继续,确认订单信息后跳转第三方支付页面完成付款。 ⚠️ 注意:可用的支付方式会根据你所选的法币不同而有所变化,请以实际页面显示为准。 如需详细操作指引,可参考以下帮助中心内容: - 快捷买币/OTC: https://www.weex.com/zh-CN/help/categories/4467195499673 - 买币指南: https://www.weex.com/zh-CN/help/sections/5537652277017 有其他关于支付方式的问题欢迎随时提问!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 在使用 Quick Buy 時,請在點擊「Buy Crypto」後,選擇您希望的支付方式
    • 然後點擊「Buy Crypto」以繼續
    Judge 推理
    AI 的回覆提供了使用 Quick Buy 的詳細步驟,但未完全涵蓋使用者查詢的核心要點,特別是缺少了點擊「Buy Crypto」的具體指示,因此在完整性上得分較低。
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
20.0%
[0.0% – 50.0%] · n=10
F1 13.3% · 召回 20.0% · 精確 10.0%
10 / 10 適用
用對工具 召回
tool_usage
0.0%
[0.0% – 0.0%] · n=10
F1 26.7% · 召回 20.0% · 精確 60.0%
10 / 10 適用
答得到位 平均
answer_quality
46.7%
[32.7% – 64.3%] · n=10
10 / 10 適用
  • 案例 D7D7FF07

    我剛剛想問提領的問題,但是找不到相關資料,怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 35991ms
    腳本進度 · FAQ查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 FAQ查詢
    腳本規則
    - Brand Issues
    WEEX Exchange
    Platform Rules
    Frequently Asked Questions
    Knowledge Base
    FAQ
    Q&A
    Brand-Related Issues
    Deposit not arrived
    Deposit address
    Withdrawal pending
    Withdrawal network (TRC20/ERC20)
    Internal transfer
    TXID / Hash query
    Wrong deposit (Coin/Chain)
    Withdrawal limit
    Daily average deposit
    Transaction fee
    
    FAQ 查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### search_parameters — 搜尋參數
    - query [text] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [text] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 如何申請退款 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers must be based on content output from <tool: search_knowledges> & <tool: search_unified>, never fabricate.
    If multiple relevant answers found, combine them logically and clarify with the user.
    If unable to answer, clearly explain and suggest human customer service assistance.
    Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> or <tool: search_unified> outputs.
    When answering questions:
      - First evaluate <tool: search_knowledges>  or <tool: search_unified> output and conversation history
      - If you find **no** relevant entry in <tool: search_knowledges> or <tool: search_unified>:
        - Do not attempt to answer from general or background knowledge.
        - Use the following message based on language detection:
          - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
          - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
          - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
    If the <tool: search_knowledges> or <tool: search_unified> entry/entries contain "url" key(s):
      1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
      2. MUST include ALL relevant URLs from matched FAQ entries after the summary using format:
         "For more detailed information, please check:
           - [Topic 1/Question 1]: [URL 1]
           - [Topic 2/Question 2]: [URL 2]"
    If <tool: search_knowledges> or <tool: search_unified> content includes an image:
      * Mandatory image inclusion:
        - Include ALL image links that appear in the relevant FAQ section
        - Must include every image links, even if multiple images exist
        - No omission of any image links from the source material
      * Image presentation:
        - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
        - Maintain the original order of images
      * Critical rule: Only use image links from <tool: search_knowledges> or <tool: search_unified> - never create new ones
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我剛剛想問提領的問題,但是找不到相關資料,怎麼辦?
    BOT正在为您搜寻最新资料 ⏳ 您好,我是WEEX智能客服。針對您找不到提領相關資料的情況,根據目前查詢結果,暫未檢索到直接關於「提領」操作或常見問題的具體說明。 根據我的了解,若您遇到提領相關問題(如資金未到帳、操作流程疑問、限制提示等),建議您直接聯繫我們的真人客服,由專員協助核查您的具體情況,這樣能更快解決您的問題! 如果您能提供更詳細的提領問題描述(例如:是哪個幣種、遇到什麼提示、資金多久未到帳等),我也可以幫您進一步查詢相關解決方案。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 326 · FAQ查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    66.7%
    Precision
    100.0%
    Recall
    50.0%
    F1
    66.7%
    預期 (2)
    • search_knowledges
    • search_unified
    TP 1
    FP 0
    FN 1

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    II 重要
    III 補充
    0.0% · w 10%
    • 請提供您的UID/手機號/電子郵件,為您轉接客服處理
    AI 回覆
    正在为您搜寻最新资料 ⏳ 您好,我是WEEX智能客服。針對您找不到提領相關資料的情況,根據目前查詢結果,暫未檢索到直接關於「提領」操作或常見問題的具體說明。 根據我的了解,若您遇到提領相關問題(如資金未到帳、操作流程疑問、限制提示等),建議您直接聯繫我們的真人客服,由專員協助核查您的具體情況,這樣能更快解決您的問題! 如果您能提供更詳細的提領問題描述(例如:是哪個幣種、遇到什麼提示、資金多久未到帳等),我也可以幫您進一步查詢相關解決方案。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您諮詢的問題於資料庫中暫未搜尋到
    III 補充說明 w 10%
    • 請提供您的UID/手機號/電子郵件,為您轉接客服處理
    Judge 推理
    該回覆未能提供用戶所需的UID/手機號/電子郵件以轉接客服,且包含不正確的聲明,未遵循規則要求。
    錯誤陳述 (1)
    • 根據目前查詢結果,暫未檢索到直接關於「提領」操作或常見問題的具體說明。
  • 案例 9F50BE4F

    有沒有適合的產品啊

    已完成
    第 1 次嘗試 · 已完成 56563ms
    腳本進度 · 產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 產品查詢
    腳本規則
    - 商品/產品
    推薦/介紹
    我想要/我需要
    
    產品查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### product_search_parameters — 商品搜尋參數
    - query [text] (必填): 用戶當前最想查詢或推薦的商品、需求或關鍵主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [text] (必填): 用戶訊息中出現的所有商品關鍵字、型號、代碼,如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 最新款無線耳機 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_products — 根據使用者需求從產品庫中搜尋並推薦相關產品
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All recommendations must be based on content output from <tool: search_products>, never fabricate.
    If multiple relevant orders found, combine them logically
    If unable to recommend, clearly explain and suggest human customer service assistance.
    Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_products> outputs.
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER有沒有適合的產品啊
    BOT马上为您找找看相关内容 📋 WEEX平台提供多样化的产品和服务,满足不同用户的交易需求。主要产品包括: - 合约交易:支持高杠杆操作,适合有经验的用户提升资金利用率。 - 现货交易:适合新手和专业用户,支持主流及热门币种买卖。 - 一键跟单:便捷复制高手策略,降低操作门槛。 - 快捷买币/OTC与C2C交易:支持多种法币入金方式,灵活选择支付渠道。 - Staking理财产品:分为活期和定期两类,活期可随时赎回,定期锁仓收益更高,但流动性有限。 详细介绍与操作指引可参考以下页面: - 产品与服务总览: https://www.weex.com/zh-CN/help/articles/52538068089113 - 合约交易: https://www.weex.com/zh-CN/futures/BTC-USDT - 现货交易: https://www.weex.com/zh-CN/spot/BTC-USDT - 一键跟单专区: https://www.weex.com/zh-CN/help/categories/6659177619865-%E8%B7%9F%E5%8D%95%E4%B8%93%E5%8C%BA - Staking理财说明: https://www.weex.com/staking 请问您对哪一类产品感兴趣?可以告诉我您的具体需求,我帮您精准推荐!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 327 · 產品查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_products
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 請提供更具體的商品關鍵字、型號或代碼
    AI 回覆
    马上为您找找看相关内容 📋 WEEX平台提供多样化的产品和服务,满足不同用户的交易需求。主要产品包括: - 合约交易:支持高杠杆操作,适合有经验的用户提升资金利用率。 - 现货交易:适合新手和专业用户,支持主流及热门币种买卖。 - 一键跟单:便捷复制高手策略,降低操作门槛。 - 快捷买币/OTC与C2C交易:支持多种法币入金方式,灵活选择支付渠道。 - Staking理财产品:分为活期和定期两类,活期可随时赎回,定期锁仓收益更高,但流动性有限。 详细介绍与操作指引可参考以下页面: - 产品与服务总览: https://www.weex.com/zh-CN/help/articles/52538068089113 - 合约交易: https://www.weex.com/zh-CN/futures/BTC-USDT - 现货交易: https://www.weex.com/zh-CN/spot/BTC-USDT - 一键跟单专区: https://www.weex.com/zh-CN/help/categories/6659177619865-%E8%B7%9F%E5%8D%95%E4%B8%93%E5%8C%BA - Staking理财说明: https://www.weex.com/staking 请问您对哪一类产品感兴趣?可以告诉我您的具体需求,我帮您精准推荐!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請提供更具體的商品關鍵字、型號或代碼
    Judge 推理
    這個回覆未能提供具體的商品建議,且沒有請求用戶提供更詳細的商品資訊,違反了規則要求。
    錯誤陳述 (1)
    • 未依據 <tool: search_products> 的內容提供建議
  • 案例 54EBC8B2

    我需要推薦一款髮片,有什麼比較好的吗

    已完成
    第 1 次嘗試 · 已完成 21834ms
    腳本進度 · 產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 產品查詢
    腳本規則
    - 商品/產品
    推薦/介紹
    我想要/我需要
    
    產品查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### product_search_parameters — 商品搜尋參數
    - query [text] (必填): 用戶當前最想查詢或推薦的商品、需求或關鍵主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [text] (必填): 用戶訊息中出現的所有商品關鍵字、型號、代碼,如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 最新款無線耳機 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_products — 根據使用者需求從產品庫中搜尋並推薦相關產品
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All recommendations must be based on content output from <tool: search_products>, never fabricate.
    If multiple relevant orders found, combine them logically
    If unable to recommend, clearly explain and suggest human customer service assistance.
    Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_products> outputs.
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER我需要推薦一款髮片,有什麼比較好的吗
    BOT这个问题不在目前的服务范围内,能否再重新描述一次?我才能协助您!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 327 · 產品查詢
    意料之外 (1)
    • ! early_stopped
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_products
    TP 0
    FP 0
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 建議您尋求人工客服的協助以獲得更好的幫助
    AI 回覆
    这个问题不在目前的服务范围内,能否再重新描述一次?我才能协助您!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 建議您尋求人工客服的協助以獲得更好的幫助
    Judge 推理
    AI的回覆未能提供任何推薦,且錯誤地表示問題不在服務範圍內。雖然提到尋求人工客服的協助,但未能清楚解釋無法推薦的原因,導致完整性和正確性都受到影響。
    錯誤陳述 (1)
    • 这个问题不在目前的服务范围内
  • 案例 3984E2A0

    查詢提款問題需要什麼參數?

    已完成
    第 1 次嘗試 · 已完成 22997ms
    腳本進度 · FAQ查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 FAQ查詢
    腳本規則
    - Brand Issues
    WEEX Exchange
    Platform Rules
    Frequently Asked Questions
    Knowledge Base
    FAQ
    Q&A
    Brand-Related Issues
    Deposit not arrived
    Deposit address
    Withdrawal pending
    Withdrawal network (TRC20/ERC20)
    Internal transfer
    TXID / Hash query
    Wrong deposit (Coin/Chain)
    Withdrawal limit
    Daily average deposit
    Transaction fee
    
    FAQ 查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### search_parameters — 搜尋參數
    - query [text] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [text] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 如何申請退款 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers must be based on content output from <tool: search_knowledges> & <tool: search_unified>, never fabricate.
    If multiple relevant answers found, combine them logically and clarify with the user.
    If unable to answer, clearly explain and suggest human customer service assistance.
    Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> or <tool: search_unified> outputs.
    When answering questions:
      - First evaluate <tool: search_knowledges>  or <tool: search_unified> output and conversation history
      - If you find **no** relevant entry in <tool: search_knowledges> or <tool: search_unified>:
        - Do not attempt to answer from general or background knowledge.
        - Use the following message based on language detection:
          - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
          - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
          - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
    If the <tool: search_knowledges> or <tool: search_unified> entry/entries contain "url" key(s):
      1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
      2. MUST include ALL relevant URLs from matched FAQ entries after the summary using format:
         "For more detailed information, please check:
           - [Topic 1/Question 1]: [URL 1]
           - [Topic 2/Question 2]: [URL 2]"
    If <tool: search_knowledges> or <tool: search_unified> content includes an image:
      * Mandatory image inclusion:
        - Include ALL image links that appear in the relevant FAQ section
        - Must include every image links, even if multiple images exist
        - No omission of any image links from the source material
      * Image presentation:
        - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
        - Maintain the original order of images
      * Critical rule: Only use image links from <tool: search_knowledges> or <tool: search_unified> - never create new ones
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER查詢提款問題需要什麼參數?
    BOT稍等一下我来帮您查询 💡 根据我的了解,关于提款问题的查询,通常需要您提供相关的操作信息,例如涉及的充值或提现地址、操作时间、币种等具体细节。如果是涉及充值地址更新或异常,请务必从APP或官网页面复制最新地址,并确保所有操作信息准确无误。 如需进一步核查或遇到特殊情况,建议直接联系在线客服,由专员协助处理。详细说明可参考:充值地址相关说明: https://www.weex.com/zh-CN/help/articles/55017761685273 如有具体场景(如提币未到账、地址异常等),请补充详细信息,我会为您进一步指引。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 326 · FAQ查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    66.7%
    Precision
    100.0%
    Recall
    50.0%
    F1
    66.7%
    預期 (2)
    • search_knowledges
    • search_unified
    TP 1
    FP 0
    FN 1

    回答品質

    33.3%
    相關性
    60.0%
    完整性
    40.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 用戶必須提供查詢內容和代碼或標籤
    • 具體問題需為 3-20 字短語
    II 重要
    0.0% · w 30%
    • 如果沒有代碼,可以留空
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 根据我的了解,关于提款问题的查询,通常需要您提供相关的操作信息,例如涉及的充值或提现地址、操作时间、币种等具体细节。如果是涉及充值地址更新或异常,请务必从APP或官网页面复制最新地址,并确保所有操作信息准确无误。 如需进一步核查或遇到特殊情况,建议直接联系在线客服,由专员协助处理。详细说明可参考:充值地址相关说明: https://www.weex.com/zh-CN/help/articles/55017761685273 如有具体场景(如提币未到账、地址异常等),请补充详细信息,我会为您进一步指引。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 用戶必須提供查詢內容和代碼或標籤
    • 具體問題需為 3-20 字短語
    II 重要限制 w 30%
    • 如果沒有代碼,可以留空
    Judge 推理
    回覆未能正確回答用戶查詢提款問題所需的參數,缺少了關鍵的查詢內容和代碼或標籤的要求,且未遵循規則中對於回答的具體要求。
  • 案例 7D58EC29

    訂單查詢的時候,找到了多個訂單怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 29511ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單查詢的時候,找到了多個訂單怎麼辦?
    BOT正在为您搜寻最新资料 ⏳ 當您在查詢訂單時發現有多個訂單,建議您根據每筆訂單的「訂單號」或「下單時間」逐一核對,選擇需要處理的那一筆。如果您遇到資金異常或狀態不明的情況,請提供具體的訂單號和相關截圖,這樣我們能更快協助您查詢與處理。 如果還有疑問或需要進一步操作指引,可以參考以下幫助資源: - 操作指南: https://www.weex.com/zh-CN/help/sections/6674966545177 - 常見問題: https://www.weex.com/zh-CN/help/sections/7251685284505 如需人工協助,請準備好您的UID、註冊手機號、訂單號及相關截圖,我們會有專員為您核查。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 328 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 系統會將多個相關訂單邏輯性地合併回覆
    II 重要
    III 補充
    AI 回覆
    正在为您搜寻最新资料 ⏳ 當您在查詢訂單時發現有多個訂單,建議您根據每筆訂單的「訂單號」或「下單時間」逐一核對,選擇需要處理的那一筆。如果您遇到資金異常或狀態不明的情況,請提供具體的訂單號和相關截圖,這樣我們能更快協助您查詢與處理。 如果還有疑問或需要進一步操作指引,可以參考以下幫助資源: - 操作指南: https://www.weex.com/zh-CN/help/sections/6674966545177 - 常見問題: https://www.weex.com/zh-CN/help/sections/7251685284505 如需人工協助,請準備好您的UID、註冊手機號、訂單號及相關截圖,我們會有專員為您核查。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 系統會將多個相關訂單邏輯性地合併回覆
    Judge 推理
    回覆未能符合規範,應該邏輯性地合併多個訂單的回覆,但實際上提供了不相關的建議,且未涵蓋核心必答內容。
  • 案例 55B506B0

    我想查詢我的訂單狀態,但找不到相關訂單,該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 37681ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想查詢我的訂單狀態,但找不到相關訂單,該怎麼辦?
    BOT稍等一下我来帮您查询 💡 如果您在查詢訂單狀態時找不到相關訂單,請按照以下步驟操作: 1. 确认您是否在正确的时间段内查询订单。例如,快捷买币订单如在03:30-07:30(UTC+8)下单,仅能在07:30后查询,请耐心等待。 2. 检查是否因未支付导致订单已自动取消,未支付的订单会在超时后自动取消,您可重新下单。 3. 若为C2C或快捷买币等交易,建议参考以下帮助文档获取详细操作指引: - 快捷买币/OTC: https://www.weex.com/zh-CN/help/categories/4467195499673 - C2C交易: https://www.weex.com/zh-CN/help/categories/49344046693529 ⚠️ 如果以上方法仍无法解决,建议您准备好以下信息并联系人工客服协助核查: - UID - 注册手机号 - C2C订单号及相关截图(如订单状态、付款记录、系统提示等) 如需进一步帮助,可直接进入平台的申诉入口或联系客服专员。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 328 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    73.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 提供聯繫客服的選項
    II 重要
    III 補充
    • 幫助你解決問題
    AI 回覆
    稍等一下我来帮您查询 💡 如果您在查詢訂單狀態時找不到相關訂單,請按照以下步驟操作: 1. 确认您是否在正确的时间段内查询订单。例如,快捷买币订单如在03:30-07:30(UTC+8)下单,仅能在07:30后查询,请耐心等待。 2. 检查是否因未支付导致订单已自动取消,未支付的订单会在超时后自动取消,您可重新下单。 3. 若为C2C或快捷买币等交易,建议参考以下帮助文档获取详细操作指引: - 快捷买币/OTC: https://www.weex.com/zh-CN/help/categories/4467195499673 - C2C交易: https://www.weex.com/zh-CN/help/categories/49344046693529 ⚠️ 如果以上方法仍无法解决,建议您准备好以下信息并联系人工客服协助核查: - UID - 注册手机号 - C2C订单号及相关截图(如订单状态、付款记录、系统提示等) 如需进一步帮助,可直接进入平台的申诉入口或联系客服专员。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 如果未找到相關訂單,我們可以確認並提供聯繫客服的選項
    III 補充說明 w 10%
    • 幫助你解決問題
    Judge 推理
    回覆中提到的查詢步驟雖然有助於用戶,但未直接提供聯繫客服的選項,未完全符合要求。
  • 案例 E0D5883E

    我的訂單查詢怎麼做啊

    已完成
    第 1 次嘗試 · 已完成 25995ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我的訂單查詢怎麼做啊
    BOT正在为您搜寻最新资料 ⏳ 您好,訂單查詢可依照以下步驟操作: 1. 打開WEEX App或進入官網。 2. 點擊首頁「資產」或「訂單」相關入口。 3. 選擇您要查詢的訂單類型(如快捷買幣、C2C、合約等)。 4. 查看您的歷史訂單記錄及狀態。 如果您是查詢快捷買幣訂單,請注意:每日03:30-07:30(UTC+8)下單的訂單,需等到07:30後才能查詢狀態,請耐心等待。 更多詳細操作指引可參考: 操作指南: https://www.weex.com/zh-CN/help/sections/6674966545177 如有特殊情況(如訂單顯示完成但餘額未更新),請提供您的訂單號及截圖,我們會協助您進一步處理。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 328 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 請提供您的姓名和聯絡電話,我來幫您查詢訂單資訊
    AI 回覆
    正在为您搜寻最新资料 ⏳ 您好,訂單查詢可依照以下步驟操作: 1. 打開WEEX App或進入官網。 2. 點擊首頁「資產」或「訂單」相關入口。 3. 選擇您要查詢的訂單類型(如快捷買幣、C2C、合約等)。 4. 查看您的歷史訂單記錄及狀態。 如果您是查詢快捷買幣訂單,請注意:每日03:30-07:30(UTC+8)下單的訂單,需等到07:30後才能查詢狀態,請耐心等待。 更多詳細操作指引可參考: 操作指南: https://www.weex.com/zh-CN/help/sections/6674966545177 如有特殊情況(如訂單顯示完成但餘額未更新),請提供您的訂單號及截圖,我們會協助您進一步處理。
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請提供您的姓名和聯絡電話,我來幫您查詢訂單資訊
    Judge 推理
    回覆未能遵循規則要求提供姓名和聯絡電話以查詢訂單資訊,且未能正確回應用戶的查詢需求。
  • 案例 FC0FD499

    提款未到的常見原因是什麼?

    已完成
    第 1 次嘗試 · 已完成 47565ms
    腳本進度 · FAQ查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 FAQ查詢
    腳本規則
    - Brand Issues
    WEEX Exchange
    Platform Rules
    Frequently Asked Questions
    Knowledge Base
    FAQ
    Q&A
    Brand-Related Issues
    Deposit not arrived
    Deposit address
    Withdrawal pending
    Withdrawal network (TRC20/ERC20)
    Internal transfer
    TXID / Hash query
    Wrong deposit (Coin/Chain)
    Withdrawal limit
    Daily average deposit
    Transaction fee
    
    FAQ 查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### search_parameters — 搜尋參數
    - query [text] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [text] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 如何申請退款 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers must be based on content output from <tool: search_knowledges> & <tool: search_unified>, never fabricate.
    If multiple relevant answers found, combine them logically and clarify with the user.
    If unable to answer, clearly explain and suggest human customer service assistance.
    Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> or <tool: search_unified> outputs.
    When answering questions:
      - First evaluate <tool: search_knowledges>  or <tool: search_unified> output and conversation history
      - If you find **no** relevant entry in <tool: search_knowledges> or <tool: search_unified>:
        - Do not attempt to answer from general or background knowledge.
        - Use the following message based on language detection:
          - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
          - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
          - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
    If the <tool: search_knowledges> or <tool: search_unified> entry/entries contain "url" key(s):
      1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
      2. MUST include ALL relevant URLs from matched FAQ entries after the summary using format:
         "For more detailed information, please check:
           - [Topic 1/Question 1]: [URL 1]
           - [Topic 2/Question 2]: [URL 2]"
    If <tool: search_knowledges> or <tool: search_unified> content includes an image:
      * Mandatory image inclusion:
        - Include ALL image links that appear in the relevant FAQ section
        - Must include every image links, even if multiple images exist
        - No omission of any image links from the source material
      * Image presentation:
        - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
        - Maintain the original order of images
      * Critical rule: Only use image links from <tool: search_knowledges> or <tool: search_unified> - never create new ones
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER提款未到的常見原因是什麼?
    BOT稍等一下我来帮您查询 💡 提款未到的常見原因如下: 1. 提款訂單狀態為「審核中/已提交」:通常5-15分鐘內會完成上鏈處理,請耐心等待。 2. 訂單狀態為「已發送」(有TXID):資產已從WEEX發出。請複製TXID到區塊鏈瀏覽器查詢: - 若區塊鏈顯示「成功/已確認」但對方平台未入帳,請聯繫「收款平台客服」。 - 若區塊鏈顯示「未確認/待處理」,需等待區塊鏈打包。 3. 訂單狀態為「失敗」或「已取消」: - 地址或網路選擇錯誤(如ERC20地址用在TRC20網路)。 - 精度問題(部分主網不支持超過6位小數,請刪除多餘小數)。 - 主網不穩定(TRC-20目前最穩定)。 4. 區塊鏈擁堵:即使有TXID,也可能因區塊鏈繁忙導致延遲。 ✅ 操作指引:點擊首頁資產 👉 提現 👉 右上角提現記錄,選擇時間查看訂單狀態。 ⚠️ 若超過30分鐘無狀態變化,建議直接聯繫真人客服協助調查。 更多詳情可參考 提款未到账常见原因: https://www.weex.com/zh-CN/help/articles/55017761685273

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 326 · FAQ查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    66.7%
    Precision
    100.0%
    Recall
    50.0%
    F1
    66.7%
    預期 (2)
    • search_knowledges
    • search_unified
    TP 1
    FP 0
    FN 1

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    90.0% · w 60%
    • 狀態為「失敗」或「已取消」,檢查地址是否正確,或是否存在網路錯誤
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    稍等一下我来帮您查询 💡 提款未到的常見原因如下: 1. 提款訂單狀態為「審核中/已提交」:通常5-15分鐘內會完成上鏈處理,請耐心等待。 2. 訂單狀態為「已發送」(有TXID):資產已從WEEX發出。請複製TXID到區塊鏈瀏覽器查詢: - 若區塊鏈顯示「成功/已確認」但對方平台未入帳,請聯繫「收款平台客服」。 - 若區塊鏈顯示「未確認/待處理」,需等待區塊鏈打包。 3. 訂單狀態為「失敗」或「已取消」: - 地址或網路選擇錯誤(如ERC20地址用在TRC20網路)。 - 精度問題(部分主網不支持超過6位小數,請刪除多餘小數)。 - 主網不穩定(TRC-20目前最穩定)。 4. 區塊鏈擁堵:即使有TXID,也可能因區塊鏈繁忙導致延遲。 ✅ 操作指引:點擊首頁資產 👉 提現 👉 右上角提現記錄,選擇時間查看訂單狀態。 ⚠️ 若超過30分鐘無狀態變化,建議直接聯繫真人客服協助調查。 更多詳情可參考 提款未到账常见原因: https://www.weex.com/zh-CN/help/articles/55017761685273
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 狀態為「審核/已提交」通常會在 5-15 分鐘內完成
    • 狀態為「已發送」(附有 TXID),如果鏈上顯示成功/已確認但另一方未收到,請聯絡接收平台的客服
    • 如果鏈上顯示未確認/待處理,請再等候
    • 狀態為「失敗」或「已取消」,檢查地址是否正確,或是否存在網路錯誤
    III 補充說明 w 10%
    • 透過 [資產] 👉 [提現] 👉 [提現記錄] 檢查當前訂單狀態,了解更多詳情
    Judge 推理
    回覆內容針對提款未到的原因進行了詳細說明,涵蓋了大部分關鍵點,但缺少了對於狀態為「失敗」或「已取消」的具體檢查建議。整體上,回覆符合要求且正確。
  • 案例 C235F8FD

    存款未到的原因是什麼?

    已完成
    第 1 次嘗試 · 已完成 38268ms
    腳本進度 · FAQ查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 FAQ查詢
    腳本規則
    - Brand Issues
    WEEX Exchange
    Platform Rules
    Frequently Asked Questions
    Knowledge Base
    FAQ
    Q&A
    Brand-Related Issues
    Deposit not arrived
    Deposit address
    Withdrawal pending
    Withdrawal network (TRC20/ERC20)
    Internal transfer
    TXID / Hash query
    Wrong deposit (Coin/Chain)
    Withdrawal limit
    Daily average deposit
    Transaction fee
    
    FAQ 查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### search_parameters — 搜尋參數
    - query [text] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [text] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 如何申請退款 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All answers must be based on content output from <tool: search_knowledges> & <tool: search_unified>, never fabricate.
    If multiple relevant answers found, combine them logically and clarify with the user.
    If unable to answer, clearly explain and suggest human customer service assistance.
    Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> or <tool: search_unified> outputs.
    When answering questions:
      - First evaluate <tool: search_knowledges>  or <tool: search_unified> output and conversation history
      - If you find **no** relevant entry in <tool: search_knowledges> or <tool: search_unified>:
        - Do not attempt to answer from general or background knowledge.
        - Use the following message based on language detection:
          - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
          - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
          - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
    If the <tool: search_knowledges> or <tool: search_unified> entry/entries contain "url" key(s):
      1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information/steps
      2. MUST include ALL relevant URLs from matched FAQ entries after the summary using format:
         "For more detailed information, please check:
           - [Topic 1/Question 1]: [URL 1]
           - [Topic 2/Question 2]: [URL 2]"
    If <tool: search_knowledges> or <tool: search_unified> content includes an image:
      * Mandatory image inclusion:
        - Include ALL image links that appear in the relevant FAQ section
        - Must include every image links, even if multiple images exist
        - No omission of any image links from the source material
      * Image presentation:
        - MUST present images with line breaks using this exact format: \n\n![](image_url)\n\n
        - Maintain the original order of images
      * Critical rule: Only use image links from <tool: search_knowledges> or <tool: search_unified> - never create new ones
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER存款未到的原因是什麼?
    BOT稍等一下我来帮您查询 💡 您好,造成存款未到的常见原因包括: 1. 使用了已下线或过期的充值地址。若您充值到旧地址,资金不会自动到账,需要联系平台客服人工处理,预计1-2个工作日内到账。若充值到已彻底失效的地址,资金有永久丢失风险。 2. 充值网络选择错误。如果您选择了错误的链进行充值,请准备UID、联系方式、支付截图和TxID,提交给客服协助核查。 3. 充值过程中遇到延迟或异常。建议每次充值时都从APP官方充值页面复制最新地址,并确保保存和分享的都是最新地址。 ⚠️ 若遇到账延迟或疑问,请立即联系在线客服协助追踪处理,确保资产安全到账。 详细说明可参考:充值地址更新通知: https://www.weex.com/zh-CN/help/articles/52538068089113 如需进一步协助,请告知您的具体情况,我会为您提供更精准的指引。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 326 · FAQ查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    66.7%
    Precision
    100.0%
    Recall
    50.0%
    F1
    66.7%
    預期 (2)
    • search_knowledges
    • search_unified
    TP 1
    FP 0
    FN 1

    回答品質

    80.0%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 提現待處理
    • 匯款網絡問題
    II 重要
    0.0% · w 30%
    • 若存款超過30分鐘未變更狀態,建議直接聯繫客服尋求協助
    III 補充
    AI 回覆
    稍等一下我来帮您查询 💡 您好,造成存款未到的常见原因包括: 1. 使用了已下线或过期的充值地址。若您充值到旧地址,资金不会自动到账,需要联系平台客服人工处理,预计1-2个工作日内到账。若充值到已彻底失效的地址,资金有永久丢失风险。 2. 充值网络选择错误。如果您选择了错误的链进行充值,请准备UID、联系方式、支付截图和TxID,提交给客服协助核查。 3. 充值过程中遇到延迟或异常。建议每次充值时都从APP官方充值页面复制最新地址,并确保保存和分享的都是最新地址。 ⚠️ 若遇到账延迟或疑问,请立即联系在线客服协助追踪处理,确保资产安全到账。 详细说明可参考:充值地址更新通知: https://www.weex.com/zh-CN/help/articles/52538068089113 如需进一步协助,请告知您的具体情况,我会为您提供更精准的指引。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 存款未到的原因可能包括存款地址錯誤、提現待處理、匯款網絡問題
    II 重要限制 w 30%
    • 若存款超過30分鐘未變更狀態,建議直接聯繫客服尋求協助
    Judge 推理
    回覆中提到的存款未到原因雖然有部分正確,但缺少了關鍵的原因如提現待處理和匯款網絡問題。此外,未提及若存款超過30分鐘未變更狀態應聯繫客服的建議,導致完整性不足。
  • 案例 05CCD29A

    請問我想要一款適合夏天使用的髮片,可以推薦嗎?

    已完成
    第 1 次嘗試 · 已完成 13186ms
    腳本進度 · 產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 產品查詢
    腳本規則
    - 商品/產品
    推薦/介紹
    我想要/我需要
    
    產品查詢的 Agent 情景
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### product_search_parameters — 商品搜尋參數
    - query [text] (必填): 用戶當前最想查詢或推薦的商品、需求或關鍵主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
    - keywords_or_codes [text] (必填): 用戶訊息中出現的所有商品關鍵字、型號、代碼,如無則為空陣列
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 最新款無線耳機 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_products — 根據使用者需求從產品庫中搜尋並推薦相關產品
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - All recommendations must be based on content output from <tool: search_products>, never fabricate.
    If multiple relevant orders found, combine them logically
    If unable to recommend, clearly explain and suggest human customer service assistance.
    Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_products> outputs.
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER請問我想要一款適合夏天使用的髮片,可以推薦嗎?
    BOT这个问题不在目前的服务范围内,能否再重新描述一次?我才能协助您!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 327 · 產品查詢
    意料之外 (1)
    • ! early_stopped
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_products
    TP 0
    FP 0
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 建議您聯繫人工客服協助
    AI 回覆
    这个问题不在目前的服务范围内,能否再重新描述一次?我才能协助您!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 建議您聯繫人工客服協助
    Judge 推理
    AI的回覆未能提供任何推薦,且錯誤地表示問題不在服務範圍內,這與規範相違背。雖然提到需要聯繫人工客服,但未明確建議這一點,導致完整性不足。
    錯誤陳述 (1)
    • 这个问题不在目前的服务范围内
項目 III.

對話素養(混合問答)

mixed_qa 1 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
不亂編造 平均
faithfulness
1 / 1 適用
答得到位 平均
answer_quality
100.0%
1 / 1 適用
  • 案例 3949A0FA

    如果AI無法回答我的問題,可以轉接給人嗎?

    已完成
    第 1 次嘗試 · 已完成 40784ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:transfer_to_human_agent
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER如果AI無法回答我的問題,可以轉接給人嗎?
    BOT马上为您找找看相关内容 📋 可以的,當AI無法解決您的問題時,我可以協助您轉接至真人客服。請提供您的【UID/手机号/邮箱】(择一),提供后将协助您转接至真人客服。 (若未提供,将无法完成转接程序,感谢您的理解。)

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    马上为您找找看相关内容 📋 可以的,當AI無法解決您的問題時,我可以協助您轉接至真人客服。請提供您的【UID/手机号/邮箱】(择一),提供后将协助您转接至真人客服。 (若未提供,将无法完成转接程序,感谢您的理解。)
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 當AI無法重複回答用戶問題時,可以轉接給人類客服代理
    Judge 推理
    這個回答完全符合用戶的問題,並且提供了完整的轉接流程,涵蓋了所有必要的要點。