AI Agent test (bulk R1)

20 個案例 · 3 個產出 · 0 次執行 · drift ✓ 9分鐘 前

⋯ more
LLM 累計成本(Eris-tracked,含 generations + runs)
$0.0287 213,107 tokens · 144 calls
Generations $0.0287 144 calls
Runs (Judge) $0.0000 0 judgements
01

案例 (20)

項目 I.

知識庫精準度

kb_accuracy 3 cases
  • 訂單狀態怎麼查詢啊?
    📦 #31
    auto-e5652d60-r1-053957972-a224a666
    標準答案

    請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。

    核心必答 · n=2
    • 請登入會員中心點選「訂單查詢」
    • 即可查看訂單處理進度
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 收到商品後多久可以退換貨?
    📦 #31
    auto-e5652d60-r1-053957972-31ca7d98
    標準答案

    您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。

    核心必答 · n=2
    • 您可以在收到商品後7天內申請退換貨
    • 請確保商品未使用且包裝完整
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 訂單未滿1000元要支付多少運費?
    📦 #31
    auto-e5652d60-r1-053957972-910d26d8
    標準答案

    訂單未滿1000元需支付80元運費。

    核心必答 · n=1
    • 訂單未滿1000元需支付80元運費
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
項目 II.

情境調用與完成

scenario_funnel 10 cases
  • 能不能告訴我你們的產品查詢是怎麼做的?
    📦 #32
    auto-e5652d60-r1-053957972-3f1c2bac
    標準答案

    我們的產品查詢使用並發搜尋的方式,可以統一處理知識庫查詢與產品資訊查詢,提供完整的資訊。

    核心必答 · n=3
    • 我們的產品查詢使用並發搜尋的方式
    • 可以統一處理知識庫查詢與產品資訊查詢
    • 提供完整的資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我想查詢你們的產品資訊,怎麼問比較好?
    📦 #32
    auto-e5652d60-r1-053957972-3b0a6a76
    標準答案

    您可以直接提出關於產品的具體問題,例如「這款髮片有什麼特色?」或「這個產品的價格是多少?」這樣我可以幫您迅速找到所需的資訊。

    核心必答 · n=1
    • 您可以直接提出關於產品的具體問題
    補充說明 · n=1
    • 例如「這款髮片有什麼特色?」或「這個產品的價格是多少?」
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我想知道系統可以查詢什麼資訊?
    📦 #32
    auto-e5652d60-r1-053957972-4b313886
    標準答案

    系統支援進階統一搜尋,能跨知識庫、產品與連結資料進行查詢,提供完整資訊。

    核心必答 · n=3
    • 系統支援進階統一搜尋
    • 能跨知識庫、產品與連結資料進行查詢
    • 提供完整資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問如何查詢產品資訊?
    📦 #32
    auto-e5652d60-r1-053957972-94261903
    標準答案

    我們可以通過統一處理知識庫查詢與產品資訊查詢,讓你得到完整的資訊。請問你想查詢什麼內容呢?

    核心必答 · n=1
    • 可以通過統一處理知識庫查詢與產品資訊查詢
    補充說明 · n=1
    • 請問你想查詢什麼內容呢
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 你們的知識庫可以查詢什麼?
    📦 #32
    auto-e5652d60-r1-053957972-d609dc79
    標準答案

    我們的知識庫統一處理知識查詢與產品資訊查詢,可以提供完整的相關資訊。

    核心必答 · n=2
    • 我們的知識庫統一處理知識查詢與產品資訊查詢
    • 可以提供完整的相關資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 為什麼你們不能直接給我完整的產品資訊?
    📦 #32
    auto-e5652d60-r1-053957972-b0cdaee1
    標準答案

    知識與產品查詢是為了統一處理所有查詢需求,我們會使用並發搜尋提供完整資訊。這樣可以更有效率地回答你的問題。

    補充說明 · n=2
    • 我們會使用並發搜尋提供完整資訊
    • 這樣可以更有效率地回答你的問題
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 你們有什麼知識查詢的服務嗎
    📦 #32
    auto-e5652d60-r1-053957972-60fda61b
    標準答案

    我們提供知識與產品查詢的服務,統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊。

    核心必答 · n=3
    • 我們提供知識與產品查詢的服務
    • 統一處理知識庫查詢與產品資訊查詢
    • 使用並發搜尋提供完整資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我可以問一些產品的資訊嗎
    📦 #32
    auto-e5652d60-r1-053957972-06cf047d
    標準答案

    當你提出問題或查詢需求時,我會觸發查詢流程,並統一處理知識庫查詢與產品資訊,提供完整的資訊。

    核心必答 · n=3
    • 我會觸發查詢流程
    • 統一處理知識庫查詢與產品資訊
    • 提供完整的資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 你們的產品查詢系統是怎麼運作的?
    📦 #32
    auto-e5652d60-r1-053957972-947e9b3a
    標準答案

    我們的系統會統一處理知識庫查詢與產品資訊查詢,並使用並發搜尋來提供完整的資訊。

    核心必答 · n=2
    • 我們的系統會統一處理知識庫查詢與產品資訊查詢
    • 使用並發搜尋來提供完整的資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我想查詢你們的知識庫和產品資訊,該怎麼做?
    📦 #32
    auto-e5652d60-r1-053957972-d846914f
    標準答案

    我可以幫你進行知識與產品查詢,請告訴我你想詢問的具體問題或產品名稱。

    補充說明 · n=1
    • 請告訴我你想詢問的具體問題或產品名稱
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
項目 III.

對話素養(混合問答)

mixed_qa 7 cases
  • 退換貨的商品需要什麼條件?
    📦 #33
    auto-e5652d60-r1-053957972-ea5a0fd0
    標準答案

    申請退換貨的商品必須未使用且包裝完整。

    核心必答 · n=1
    • 申請退換貨的商品必須未使用且包裝完整
    預期觸發情境
    early_return
    編輯
  • 統一搜尋可以處理什麼資料來源?
    📦 #33
    auto-e5652d60-r1-053957972-9f7cdf4d
    標準答案

    統一搜尋可以處理知識、產品、連結、文檔知識、文檔產品和視覺資料這 5 種資料來源。

    核心必答 · n=1
    • 統一搜尋可以處理知識、產品、連結、文檔知識、文檔產品和視覺資料這 5 種資料來源
    預期觸發情境
    early_return
    預期呼叫工具
    search_unified
    編輯
  • 要怎麼轉接真人客服?
    📦 #33
    auto-e5652d60-r1-053957972-d072d25d
    標準答案

    您可以使用關鍵詞如線上客服、真人客服、轉真人或找真人來觸發轉接。

    核心必答 · n=1
    • 您可以使用關鍵詞如線上客服、真人客服、轉真人或找真人來觸發轉接
    預期觸發情境
    轉接真人客服
    編輯
  • 請問我要怎麼查詢訂單狀態?
    📦 #33
    auto-e5652d60-r1-053957972-810c30e8
    標準答案

    請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。

    核心必答 · n=2
    • 請登入會員中心點選「訂單查詢」
    • 即可查看訂單處理進度
    預期觸發情境
    early_return
    編輯
  • 我該怎麼轉接人類客服?
    📦 #33
    auto-e5652d60-r1-053957972-4d980a07
    標準答案

    當用戶明確要求人類代理時,可以進行轉接。

    核心必答 · n=1
    • 當用戶明確要求人類代理時,可以進行轉接
    預期觸發情境
    early_return
    預期呼叫工具
    transfer_to_human_agent
    編輯
  • 訂單滿多少才免運費啊
    📦 #33
    auto-e5652d60-r1-053957972-21787589
    標準答案

    訂單滿1000元免運費,未滿則酌收80元運費。

    核心必答 · n=2
    • 訂單滿1000元免運費
    • 未滿則酌收80元運費
    預期觸發情境
    early_return
    編輯
  • 你們的查詢系統怎麼運作的?
    📦 #33
    auto-e5652d60-r1-053957972-6c3901da
    標準答案

    我們的系統統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊。

    核心必答 · n=2
    • 我們的系統統一處理知識庫查詢與產品資訊查詢
    • 使用並發搜尋提供完整資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
02

最近執行

此套件尚未有執行紀錄。