OllieTest (bulk R1)

24 個案例 · 3 個產出 · 2 次執行 · 最後執行 大約1小時 前 · drift ✓ 大約1小時 前

⋯ more
編輯套件 Gate 門檻 (0) + 新增案例
LLM 累計成本（Eris-tracked，含 generations + runs）
$0.0401 287,210 tokens · 157 calls
Generations $0.0401 157 calls
Runs (Judge) $0.0000 0 judgements
RUNNING
2 個 evaluation 進行中：
01

案例 (24)

項目 I.

知識庫精準度

kb_accuracy 4 cases
  • 運費是怎麼計算的？
    📦 #310
    auto-e67d9c8e-r1-053959128-12b37a78
    標準答案

    訂單滿1000元免運費，未滿則酌收80元運費。

    核心必答 · n=2
    • 訂單滿1000元免運費
    • 未滿則酌收80元運費
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 狗狗可以吃生雞蛋嗎
    📦 #310
    auto-e67d9c8e-r1-053959128-a9476395
    標準答案

    狗狗不可以吃生雞蛋。

    核心必答 · n=1
    • 狗狗不可以吃生雞蛋
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問要如何查詢訂單狀態呢？
    📦 #310
    auto-e67d9c8e-r1-053959128-02af8516
    標準答案

    請登入會員中心點選「訂單查詢」，即可查看訂單處理進度。

    核心必答 · n=2
    • 請登入會員中心點選「訂單查詢」
    • 即可查看訂單處理進度
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 退換貨的商品要有什麼條件？
    📦 #310
    auto-e67d9c8e-r1-053959128-3e94b237
    標準答案

    退換貨的商品必須未使用且包裝完整。

    核心必答 · n=1
    • 退換貨的商品必須未使用且包裝完整
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
項目 II.

情境調用與完成

scenario_funnel 10 cases
  • 最近有什麼活動嗎
    📦 #311
    auto-e67d9c8e-r1-053959128-4c06a771
    標準答案

    我們目前有多項活動、優惠和促銷，建議你查看我們的官網或粉專以獲取最新資訊。

    核心必答 · n=1
    • 我們目前有多項活動、優惠和促銷
    補充說明 · n=1
    • 建議你查看我們的官網或粉專以獲取最新資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問我如何查詢訂單狀態呢？
    📦 #311
    auto-e67d9c8e-r1-053959128-849d77fc
    標準答案

    你可以登入會員中心，然後點選「訂單查詢」，就可以查看你的訂單處理進度。如果有任何問題，也可以查詢客服來獲取幫助。

    核心必答 · n=2
    • 可以登入會員中心
    • 點選「訂單查詢」查看訂單處理進度
    補充說明 · n=1
    • 如果有任何問題，也可以查詢客服來獲取幫助
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 產品的維護保養要注意什麼？
    📦 #311
    auto-e67d9c8e-r1-053959128-42cb9afc
    標準答案

    產品維護保養包括清潔、維修以及壽命等方面。建議定期檢查維護，以延長使用期限。如果有登入會員中心的功能，也可以查看相關的產品維護資訊。

    核心必答 · n=2
    • 產品維護保養包括清潔、維修以及壽命等方面
    • 建議定期檢查維護，以延長使用期限
    重要限制 · n=1
    • 如果有登入會員中心的功能，也可以查看相關的產品維護資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我的訂單查詢有什麼進度？
    📦 #311
    auto-e67d9c8e-r1-053959128-376fe4c6
    標準答案

    請提供您訂單的相關資訊，我會幫您查詢最新的訂單狀態。如果有多個相關訂單，我將會邏輯性地結合在一起回覆您。

    核心必答 · n=2
    • 請提供您訂單的相關資訊
    • 我會幫您查詢最新的訂單狀態
    重要限制 · n=1
    • 如果有多個相關訂單，我將會邏輯性地結合在一起回覆您
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我的訂單狀態查詢不到，這樣要怎麼辦？
    📦 #311
    auto-e67d9c8e-r1-053959128-fe927736
    標準答案

    如果未找到相關訂單，我們可以幫你確認並提供客戶服務的協助。您需要提供一些個人資訊以便我們更好地協助您。

    核心必答 · n=1
    • 如果未找到相關訂單，我們可以幫你確認並提供客戶服務的協助
    重要限制 · n=1
    • 您需要提供一些個人資訊以便我們更好地協助您
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 退換貨的流程是什麼？
    📦 #311
    auto-e67d9c8e-r1-053959128-f3a12890
    標準答案

    您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。

    核心必答 · n=2
    • 您可以在收到商品後7天內申請退換貨
    • 請確保商品未使用且包裝完整
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 這個髮片需要怎麼保養呢?
    📦 #311
    auto-e67d9c8e-r1-053959128-30d1e27a
    標準答案

    髮片的維護保養包括定期清潔及適當存放，這樣可以延長使用壽命，也能確保備品在使用時保持品質。建議每隔一段時間清洗一次，並避免長時間陽光直射。

    核心必答 · n=3
    • 髮片的維護保養包括定期清潔及適當存放
    • 建議每隔一段時間清洗一次
    • 避免長時間陽光直射
    重要限制 · n=2
    • 這樣可以延長使用壽命
    • 確保備品在使用時保持品質
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問這個產品的保養和維修要怎麼做？壽命大約是多久？
    📦 #311
    auto-e67d9c8e-r1-053959128-87ee3294
    標準答案

    產品的保養和維護包括定期清潔和妥善保存，這有助於延長使用壽命。壽命通常依產品類型而異，所以建議您查看產品手冊或直接詢問我們的客服以獲取準確資訊。

    核心必答 · n=3
    • 產品的保養和維護包括定期清潔和妥善保存
    • 這有助於延長使用壽命
    • 壽命通常依產品類型而異
    重要限制 · n=1
    • 建議查看產品手冊或直接詢問客服以獲取準確資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我該如何使用這個產品？
    📦 #311
    auto-e67d9c8e-r1-053959128-996b58b5
    標準答案

    您可以使用這個產品時，參考產品的使用方式與操作步驟，通常這包括安裝、設定等步驟。具體的使用建議可以查詢相關資料或是聯絡客服以獲得協助。

    核心必答 · n=2
    • 參考產品的使用方式與操作步驟
    • 通常這包括安裝、設定等步驟
    補充說明 · n=1
    • 具體的使用建議可以查詢相關資料或是聯絡客服以獲得協助
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問我的訂單目前的運送狀態如何？
    📦 #311
    auto-e67d9c8e-r1-053959128-922539f5
    標準答案

    請提供您的個人資訊，我可以幫您查詢訂單的運送狀態。

    補充說明 · n=1
    • 請提供您的個人資訊，我可以幫您查詢訂單的運送狀態
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
項目 III.

對話素養（混合問答）

mixed_qa 10 cases
  • 請問未滿 1000 元的訂單運費是多少？
    📦 #312
    auto-e67d9c8e-r1-053959128-c8416f53
    標準答案

    未滿1000元的訂單需支付80元運費。

    核心必答 · n=1
    • 未滿1000元的訂單需支付80元運費
    預期觸發情境
    early_return
    編輯
  • 統一搜尋可以處理什麼資料來源?
    📦 #312
    auto-e67d9c8e-r1-053959128-bf9d0c1a
    標準答案

    統一搜尋可以處理知識、產品、連結、文檔知識、文檔產品和視覺資料等五種資料來源。

    核心必答 · n=1
    • 統一搜尋可以處理知識、產品、連結、文檔知識、文檔產品和視覺資料等五種資料來源
    預期觸發情境
    early_return
    預期呼叫工具
    search_unified
    編輯
  • 你們的營業時間是什麼時候?
    📦 #312
    auto-e67d9c8e-r1-053959128-b6134214
    標準答案

    我們的營業時間為週一至週五，上午 9 點至下午 6 點。週末休息，若有任何問題，歡迎聯繫我們！

    核心必答 · n=2
    • 我們的營業時間為週一至週五，上午 9 點至下午 6 點
    • 週末休息
    補充說明 · n=1
    • 若有任何問題，歡迎聯繫我們
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 查詢訂單狀態要怎麼做？
    📦 #312
    auto-e67d9c8e-r1-053959128-9405b118
    標準答案

    請登入會員中心點選「訂單查詢」，即可查看訂單處理進度。

    核心必答 · n=2
    • 請登入會員中心點選「訂單查詢」
    • 即可查看訂單處理進度
    預期觸發情境
    early_return
    編輯
  • 電商訂單搜尋要怎麼操作?
    📦 #312
    auto-e67d9c8e-r1-053959128-e077b230
    標準答案

    可以使用電商訂單搜尋 executor，透過 JTCG SaaS API 進行操作，並使用 vendor parser 格式化來搜尋訂單細節。

    核心必答 · n=3
    • 可以使用電商訂單搜尋 executor
    • 透過 JTCG SaaS API 進行操作
    • 使用 vendor parser 格式化來搜尋訂單細節
    預期觸發情境
    early_return
    預期呼叫工具
    shopline_search_orders
    編輯
  • 收到商品後幾天內可以退換貨？
    📦 #312
    auto-e67d9c8e-r1-053959128-bb0d5ba1
    標準答案

    您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。

    核心必答 · n=2
    • 您可以在收到商品後7天內申請退換貨
    • 請確保商品未使用且包裝完整
    預期觸發情境
    early_return
    編輯
  • 可以看之前的對話紀錄嗎?
    📦 #312
    auto-e67d9c8e-r1-053959128-259064de
    標準答案

    可以的，系統能檢索最近 7 輪之前的對話記錄，如果你需要，也能提供更詳細的內容摘要。

    核心必答 · n=2
    • 系統能檢索最近 7 輪之前的對話記錄
    • 能提供更詳細的內容摘要
    預期觸發情境
    early_return
    預期呼叫工具
    get_history
    編輯
  • 請問當我的情緒升高時，可以轉接真人客服嗎？
    📦 #312
    auto-e67d9c8e-r1-053959128-ba8837a1
    標準答案

    當客戶情緒升高時，可以要求轉接真人客服。

    核心必答 · n=1
    • 可以要求轉接真人客服
    預期觸發情境
    轉接真人客服
    編輯
  • 狗狗可以吃生雞蛋嗎？
    📦 #312
    auto-e67d9c8e-r1-053959128-f80cdcda
    標準答案

    狗狗不可以吃生雞蛋。

    核心必答 · n=1
    • 狗狗不可以吃生雞蛋
    預期觸發情境
    early_return
    編輯
  • 什麼情況下可以轉接真人客服?
    📦 #312
    auto-e67d9c8e-r1-053959128-07a956f9
    標準答案

    當用戶明確要求真人客服、AI無法重複回答用戶問題、用戶表現出強烈的負面情緒，或問題超出AI的能力範圍時，可以進行轉接。

    核心必答 · n=4
    • 當用戶明確要求真人客服時，可以進行轉接
    • AI無法重複回答用戶問題時，可以進行轉接
    • 用戶表現出強烈的負面情緒時，可以進行轉接
    • 問題超出AI的能力範圍時，可以進行轉接
    預期觸發情境
    early_return
    預期呼叫工具
    transfer_to_human_agent
    編輯
02

最近執行