Axe Test (bulk R1)

16 個案例 · 3 個產出 · 2 次執行 · 最後執行 5分鐘 前 · drift ✓ 8分鐘 前

⋯ more
編輯套件 Gate 門檻 (0) + 新增案例
LLM 累計成本（Eris-tracked，含 generations + runs）
$0.0452 340,554 tokens · 158 calls
Generations $0.0452 158 calls
Runs (Judge) $0.0000 0 judgements
RUNNING
2 個 evaluation 進行中：
01

案例 (16)

項目 II.

情境調用與完成

scenario_funnel 10 cases
  • 請問我登入的時候出現錯誤，這是什麼問題呢？
    📦 #119
    auto-b490a901-r1-053958423-cb6a6ab2
    標準答案

    關於您遇到的登入錯誤，這可能與帳號或密碼輸入不正確有關，或者系統可能暫時出現問題。建議您再檢查一次您的登入資訊，若問題仍然存在，建議您聯繫真人客服以獲得更詳細的協助。

    核心必答 · n=2
    • 登入錯誤可能與帳號或密碼輸入不正確有關
    • 系統可能暫時出現問題
    重要限制 · n=1
    • 建議您再檢查一次您的登入資訊
    補充說明 · n=1
    • 若問題仍然存在，建議您聯繫真人客服以獲得更詳細的協助
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問查詢我的訂單需要提供哪些個人資訊呢？
    📦 #119
    auto-b490a901-r1-053958423-385c4c03
    標準答案

    查詢訂單需要提供必要的個人資訊，例如姓名和聯絡電話等，以便我們能夠找到您的訂單詳情。

    核心必答 · n=2
    • 查詢訂單需要提供必要的個人資訊
    • 例如姓名和聯絡電話等
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 查詢訂單要提供什麼資訊?
    📦 #119
    auto-b490a901-r1-053958423-c9c552f0
    標準答案

    訂單查詢需要您提供必要的個人資訊，例如訂購姓名或聯絡電話，以便我能搜尋相關的訂單資訊。

    核心必答 · n=2
    • 訂單查詢需要您提供必要的個人資訊
    • 例如訂購姓名或聯絡電話
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 請問我的訂單狀態可以查詢嗎？
    📦 #119
    auto-b490a901-r1-053958423-d5bacd97
    標準答案

    我可以幫您查詢訂單狀態，但請先提供一些必需的個人資訊，例如您的姓名或訂單編號。如果找不到相關訂單，我會確認並提供客服查詢的選項。

    核心必答 · n=2
    • 可以查詢訂單狀態
    • 需要提供姓名或訂單編號
    重要限制 · n=1
    • 如果找不到相關訂單，會確認並提供客服查詢的選項
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我可以查詢之前的訂單詳情嗎？
    📦 #119
    auto-b490a901-r1-053958423-96989b03
    標準答案

    請提供您的訂購姓名或聯絡電話，讓我幫您查詢訂單詳情。

    補充說明 · n=1
    • 請提供您的訂購姓名或聯絡電話，讓我幫您查詢訂單詳情
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 這個髮片怎麼用啊
    📦 #119
    auto-b490a901-r1-053958423-1d39748b
    標準答案

    髮片的使用方法是先將頭髮整理好，然後按照髮片的設計將其固定在您的自然髮上，確保貼合。可根據需要調整位置，最後用夾子固定。新手使用時，建議尋找視頻指南以便更熟悉操作步驟。

    核心必答 · n=5
    • 先將頭髮整理好
    • 按照髮片的設計將其固定在您的自然髮上
    • 確保貼合
    • 可根據需要調整位置
    • 最後用夾子固定
    重要限制 · n=1
    • 新手使用時，建議尋找視頻指南以便更熟悉操作步驟
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 退換貨怎麼辦?
    📦 #119
    auto-b490a901-r1-053958423-9c0bef31
    標準答案

    退換貨的相關資訊可以參考我們的官方網站，或是直接聯絡客服詢問具體流程喔！

    核心必答 · n=1
    • 退換貨的相關資訊可以參考我們的官方網站
    補充說明 · n=1
    • 或是直接聯絡客服詢問具體流程喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 產品查詢有什麼條件嗎？
    📦 #119
    auto-b490a901-r1-053958423-12909533
    標準答案

    根據我的了解，任何包含問號或疑問詞的查詢都會觸發知識與產品查詢。為了確保準確，建議你跟真人客服確認一下喔！

    核心必答 · n=1
    • 任何包含問號或疑問詞的查詢都會觸發知識與產品查詢
    補充說明 · n=1
    • 建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 如何安裝這個髮片？
    📦 #119
    auto-b490a901-r1-053958423-a93b01ef
    標準答案

    安裝髮片的方法通常包括以下步驟：首先，確保你的頭髮是乾淨和乾燥的；其次，將髮片對準你的髮根，確保固定部位穩固；然後，輕輕按壓髮片以確保它們牢牢固定在你的髮型上；最後，根據需要調整髮片的位置以達到良好的外觀。如果你有其他使用上的問題，建議尋求專業人士的意見。為了確保準確，建議你跟真人客服確認一下喔！

    核心必答 · n=4
    • 確保你的頭髮是乾淨和乾燥的
    • 將髮片對準你的髮根，確保固定部位穩固
    • 輕輕按壓髮片以確保它們牢牢固定在你的髮型上
    • 根據需要調整髮片的位置以達到良好的外觀
    補充說明 · n=2
    • 建議尋求專業人士的意見
    • 建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 如果我想查詢你們的產品價格，該怎麼做？
    📦 #119
    auto-b490a901-r1-053958423-2864d79a
    標準答案

    你可以直接詢問具體產品的價格，例如「這個髮片多少錢？」。我會立刻為你查詢相關資訊。

    核心必答 · n=1
    • 你可以直接詢問具體產品的價格
    補充說明 · n=1
    • 我會立刻為你查詢相關資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
項目 III.

對話素養（混合問答）

mixed_qa 6 cases
  • 請問要如何搜尋我的電商訂單呢？
    📦 #120
    auto-b490a901-r1-053958423-6691327b
    標準答案

    您可以提供相關訂單信息，我們會依據您提供的資料來搜尋訂單詳情。

    核心必答 · n=1
    • 可以提供相關訂單信息
    補充說明 · n=1
    • 我們會依據您提供的資料來搜尋訂單詳情
    預期觸發情境
    early_return
    預期呼叫工具
    shopline_search_orders
    編輯
  • 查詢要怎麼觸發?
    📦 #120
    auto-b490a901-r1-053958423-84dd5655
    標準答案

    通用查詢會優先觸發知識與產品查詢，包括使用問號、疑問詞如「如何」、「多少」等，這些都是觸發的關鍵條件。

    核心必答 · n=2
    • 通用查詢會優先觸發知識與產品查詢
    • 使用問號、疑問詞如「如何」、「多少」等，這些都是觸發的關鍵條件
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 統一搜尋支援什麼融合同步多通道?
    📦 #120
    auto-b490a901-r1-053958423-fbc6b7ac
    標準答案

    統一搜尋支援多通道的 BM25 與向量 RRF 融合。

    核心必答 · n=1
    • 統一搜尋支援多通道的 BM25 與向量 RRF 融合
    預期觸發情境
    early_return
    預期呼叫工具
    search_unified
    編輯
  • 怎麼查看之前的對話紀錄?
    📦 #120
    auto-b490a901-r1-053958423-99485e21
    標準答案

    可以使用 get_history 功能來檢索最近 7 輪之前的對話紀錄，沒有參數的話會顯示簡潔摘要，如果加上 trace 和 end_trace 可以查看完整內容。

    核心必答 · n=3
    • 可以使用 get_history 功能來檢索最近 7 輪之前的對話紀錄
    • 沒有參數的話會顯示簡潔摘要
    • 加上 trace 和 end_trace 可以查看完整內容
    預期觸發情境
    early_return
    預期呼叫工具
    get_history
    編輯
  • 為什麼我的訂單資料沒有辦法一次查到？
    📦 #120
    auto-b490a901-r1-053958423-bc7190a8
    標準答案

    當找到多個相關訂單時，需要將它們邏輯性地結合在一起回覆。我可以幫你查詢，看一下訂單的具體狀態。

    核心必答 · n=1
    • 可以幫你查詢訂單的具體狀態
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 怎麼轉接客服?
    📦 #120
    auto-b490a901-r1-053958423-1a5b7bb6
    標準答案

    可以在問題超出 AI 的能力範圍時轉接給人工客服。

    核心必答 · n=1
    • 可以在問題超出 AI 的能力範圍時轉接給人工客服
    預期觸發情境
    early_return
    預期呼叫工具
    transfer_to_human_agent
    編輯
02

最近執行