test (bulk R1)

16 個案例 · 3 個產出 · 2 次執行 · 最後執行 大約1小時 前 · drift ✓ 大約1小時 前

⋯ more
編輯套件 Gate 門檻 (0) + 新增案例
LLM 累計成本（Eris-tracked，含 generations + runs）
$0.0356 249,045 tokens · 119 calls
Generations $0.0356 119 calls
Runs (Judge) $0.0000 0 judgements
RUNNING
2 個 evaluation 進行中：
01

案例 (16)

項目 II.

情境調用與完成

scenario_funnel 10 cases
  • 我想查詢一下我的訂單狀況，請問有什麼資料需要提供嗎？
    📦 #374
    auto-a5f97610-r1-053959570-d40ea816
    標準答案

    為了能夠幫您查詢訂單狀況，我需要您提供一些個人資訊。請問您可以提供訂購的姓名或聯絡電話嗎？

    核心必答 · n=2
    • 需要您提供一些個人資訊來查詢訂單狀況
    • 請提供訂購的姓名或聯絡電話
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 請問貴公司的服務時間是什麼時候？
    📦 #374
    auto-a5f97610-r1-053959570-d64922ba
    標準答案

    我們的服務時間是週一至週五，上午九點至下午六點。根據我的了解，建議你跟真人客服確認一下喔！

    核心必答 · n=1
    • 我們的服務時間是週一至週五，上午九點至下午六點
    補充說明 · n=1
    • 建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 如果查不到我的訂單，該怎麼辦？
    📦 #374
    auto-a5f97610-r1-053959570-67fa9953
    標準答案

    如果未找到相關訂單，我會確認並提供與客戶服務聯繫的選項來協助您解決問題。

    核心必答 · n=1
    • 如果未找到相關訂單，我會確認並提供與客戶服務聯繫的選項
    補充說明 · n=1
    • 來協助您解決問題
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 你們的假髮多少錢?
    📦 #374
    auto-a5f97610-r1-053959570-e1efffad
    標準答案

    根據我的了解，假髮的價格會根據型號和類型有所不同。為了確保準確，建議你跟真人客服確認一下喔！

    核心必答 · n=1
    • 假髮的價格會根據型號和類型有所不同
    補充說明 · n=1
    • 建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 通用查詢是什麼意思?
    📦 #374
    auto-a5f97610-r1-053959570-c50b66bd
    標準答案

    通用查詢的優先級最高，會優先處理各種查詢，包括任何帶問號的問題。這樣的查詢會觸發知識與產品查詢的流程，確保用戶能獲得即時的資訊。

    核心必答 · n=4
    • 通用查詢的優先級最高
    • 會優先處理各種查詢
    • 這樣的查詢會觸發知識與產品查詢的流程
    • 確保用戶能獲得即時的資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 髮片怎麼用?
    📦 #374
    auto-a5f97610-r1-053959570-70ece901
    標準答案

    髮片的使用方法包括將髮片放置在貼合的部位，確保固定密合，並可根據需求調整位置與角度。若需更多詳細的使用步驟，建議參考產品手冊或詢問真人客服以獲得更精確的指導喔！

    核心必答 · n=3
    • 將髮片放置在貼合的部位
    • 確保固定密合
    • 可根據需求調整位置與角度
    補充說明 · n=1
    • 建議參考產品手冊或詢問真人客服以獲得更精確的指導
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 這些服務的營業時間是怎麼樣的呀？
    📦 #374
    auto-a5f97610-r1-053959570-cfde3052
    標準答案

    我們的服務時間是週一到週五，上午 9 點到下午 6 點，週六、週日及國定假日休息。根據我的了解，為了確保準確，建議你跟真人客服確認一下喔！

    核心必答 · n=2
    • 我們的服務時間是週一到週五，上午 9 點到下午 6 點
    • 週六、週日及國定假日休息
    補充說明 · n=1
    • 建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我的訂單狀態怎麼樣?
    📦 #374
    auto-a5f97610-r1-053959570-77c7caaa
    標準答案

    請提供你的姓名和訂單編號，這樣我可以幫你查詢訂單狀態。

    補充說明 · n=1
    • 請提供你的姓名和訂單編號，這樣我可以幫你查詢訂單狀態
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我的訂單查詢有回覆嗎?
    📦 #374
    auto-a5f97610-r1-053959570-3e7e01f8
    標準答案

    我先查一下你的訂單狀態，如果沒有找到相關訂單，我會提供與客戶服務聯繫的選項。請提供訂單編號或其他相關資訊。

    核心必答 · n=2
    • 我先查一下你的訂單狀態
    • 請提供訂單編號或其他相關資訊
    補充說明 · n=1
    • 如果沒有找到相關訂單，我會提供與客戶服務聯繫的選項
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 訂單狀態查詢
    📦 #374
    auto-a5f97610-r1-053959570-2a1a9cf9
    標準答案

    要查詢訂單狀態，請提供訂單編號或相關資訊，我才能幫你查詢喔。

    核心必答 · n=1
    • 要查詢訂單狀態，請提供訂單編號或相關資訊
    補充說明 · n=1
    • 我才能幫你查詢喔
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
項目 III.

對話素養（混合問答）

mixed_qa 6 cases
  • 請問我可以用什麼信息搜尋訂單詳情？
    📦 #375
    auto-a5f97610-r1-053959570-b4a62ca3
    標準答案

    您可以提供與訂單相關的信息，我們將用這些信息搜尋訂單詳情。

    核心必答 · n=1
    • 可以提供與訂單相關的信息
    補充說明 · n=1
    • 我們將用這些信息搜尋訂單詳情
    預期觸發情境
    early_return
    預期呼叫工具
    shopline_search_orders
    編輯
  • 那個髮片怎麼使用？
    📦 #375
    auto-a5f97610-r1-053959570-835dca87
    標準答案

    使用髮片的方法如下：首先，將髮片輕輕放在您希望的區域，然後用夾子固定，確保它與您的自然髮型相配。使用時避免拉扯，以免損壞髮片。如果是第一次使用，建議參考產品說明以獲得最佳效果。

    核心必答 · n=5
    • 將髮片輕輕放在您希望的區域
    • 用夾子固定髮片
    • 確保髮片與您的自然髮型相配
    • 使用時避免拉扯，以免損壞髮片
    • 建議參考產品說明以獲得最佳效果
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 可以查之前的對話嗎
    📦 #375
    auto-a5f97610-r1-053959570-6b96f427
    標準答案

    可以的，透過 get_history 可以檢索最近 7 輪之前的對話。

    核心必答 · n=1
    • 透過 get_history 可以檢索最近 7 輪之前的對話
    預期觸發情境
    early_return
    預期呼叫工具
    get_history
    編輯
  • 訂單查詢用什麼工具？
    📦 #375
    auto-a5f97610-r1-053959570-ea5b492d
    標準答案

    訂單查詢使用的工具是 shopline_search_orders。

    核心必答 · n=1
    • 訂單查詢使用的工具是 shopline_search_orders
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 如果AI回答不了，可以轉接到真人客服嗎
    📦 #375
    auto-a5f97610-r1-053959570-48b59a13
    標準答案

    可以，如果問題超出AI的能力範圍，則可以轉接到人類客服代理。

    核心必答 · n=1
    • 可以轉接到人類客服代理
    預期觸發情境
    early_return
    預期呼叫工具
    transfer_to_human_agent
    編輯
  • 轉接真人客服的時候需要確認什麼情況?
    📦 #375
    auto-a5f97610-r1-053959570-a649cc78
    標準答案

    轉接真人客服時，Agent 需要確認情況。

    核心必答 · n=1
    • Agent 需要確認情況
    預期觸發情境
    轉接真人客服
    編輯
02

最近執行