測試 (bulk R1)

15 個案例 · 3 個產出 · 0 次執行 · drift ✓ 5分鐘 前

⋯ more
LLM 累計成本(Eris-tracked,含 generations + runs)
$0.0394 295,603 tokens · 141 calls
Generations $0.0394 141 calls
Runs (Judge) $0.0000 0 judgements
01

案例 (15)

項目 II.

情境調用與完成

scenario_funnel 10 cases
  • 訂單查詢需要提供什麼資訊?
    📦 #641
    auto-420cd813-r1-054000393-ca0d5af8
    標準答案

    你需要提供必要的個人資訊才能進行訂單查詢,包括訂購姓名、聯絡電話或訂單編號,才能查詢相關訂單詳情。

    核心必答 · n=2
    • 需要提供必要的個人資訊才能進行訂單查詢
    • 包括訂購姓名、聯絡電話或訂單編號
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 這款髮片的價格是多少?
    📦 #641
    auto-420cd813-r1-054000393-a57e928f
    標準答案

    髮片的價格根據不同的型號和特性有所不同,具體價格建議您參考我們的產品頁面,或與真人客服確認以獲取最新資訊。

    核心必答 · n=1
    • 髮片的價格根據不同的型號和特性有所不同
    補充說明 · n=2
    • 具體價格建議您參考我們的產品頁面
    • 或與真人客服確認以獲取最新資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 你們的粉絲團在哪裡啊?
    📦 #641
    auto-420cd813-r1-054000393-7393ab9f
    標準答案

    我們的粉絲團在 Facebook 上,您可以透過這個連結找到我們的粉絲專頁:粉絲團: https://facebook.com/example。

    核心必答 · n=2
    • 我們的粉絲團在 Facebook 上
    • 您可以透過這個連結找到我們的粉絲專頁:粉絲團: https://facebook.com/example
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我的訂單狀態怎麼查?
    📦 #641
    auto-420cd813-r1-054000393-d7dde5fb
    標準答案

    請提供你的聯絡電話和訂單編號,以便我協助你查詢訂單狀態。

    補充說明 · n=1
    • 請提供你的聯絡電話和訂單編號,以便我協助你查詢訂單狀態
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我的訂單查詢有沒有問題啊?
    📦 #641
    auto-420cd813-r1-054000393-a04befeb
    標準答案

    如果沒有找到相關訂單,我會確認你的資訊並提供聯絡客服的選項。

    核心必答 · n=1
    • 如果沒有找到相關訂單,我會確認你的資訊
    補充說明 · n=1
    • 提供聯絡客服的選項
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 產品查詢怎麼做啊?
    📦 #641
    auto-420cd813-r1-054000393-72a9cff5
    標準答案

    任何包含問號或疑問詞的查詢都會觸發知識與產品搜尋。這樣可以幫助你獲得更完整的資訊。

    核心必答 · n=1
    • 任何包含問號或疑問詞的查詢都會觸發知識與產品搜尋
    補充說明 · n=1
    • 這樣可以幫助你獲得更完整的資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 你們有什麼社群媒體可以交流嗎
    📦 #641
    auto-420cd813-r1-054000393-9e97a2da
    標準答案

    我們在 Facebook 和 Instagram 都有官方帳號,你可以在這些平台上找到我們的最新消息。

    核心必答 · n=2
    • 我們在 Facebook 和 Instagram 都有官方帳號
    • 可以在這些平台上找到我們的最新消息
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我的訂單查詢沒有結果,怎麼辦
    📦 #641
    auto-420cd813-r1-054000393-b4fd4222
    標準答案

    如果沒有找到相關訂單,我可以幫你確認,並提供聯絡客服的選項,你要怎麼做呢?

    核心必答 · n=1
    • 可以幫你確認訂單
    補充說明 · n=1
    • 提供聯絡客服的選項
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我可以查詢我的訂單嗎?
    📦 #641
    auto-420cd813-r1-054000393-02f8ad63
    標準答案

    我可以幫你查詢訂單資訊,但需要一些個人資料來確認你的身份。請提供你的姓名或訂單編號。

    核心必答 · n=1
    • 可以查詢訂單資訊
    重要限制 · n=1
    • 需要提供姓名或訂單編號來確認身份
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 請問現在有哪些產品優惠嗎?
    📦 #641
    auto-420cd813-r1-054000393-856f3d48
    標準答案

    根據我的了解,產品優惠的資訊可能會隨時間變化。為了確保準確,建議你跟真人客服確認一下喔!

    重要限制 · n=1
    • 產品優惠的資訊可能會隨時間變化
    補充說明 · n=1
    • 建議你跟真人客服確認一下
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
項目 III.

對話素養(混合問答)

mixed_qa 5 cases
  • 什麼情況會轉接給人類客服?
    📦 #642
    auto-420cd813-r1-054000393-7cf80d50
    標準答案

    當使用者明確要求人類客服、AI無法重複回答使用者問題、使用者表現出強烈負面情緒或問題超出AI能力時,會轉接給人類客服。

    核心必答 · n=4
    • 當使用者明確要求人類客服時,會轉接給人類客服
    • AI無法重複回答使用者問題時,會轉接給人類客服
    • 當使用者表現出強烈負面情緒時,會轉接給人類客服
    • 當問題超出AI能力時,會轉接給人類客服
    預期觸發情境
    early_return
    預期呼叫工具
    transfer_to_human_agent
    編輯
  • 我的訂單狀態怎麼查詢?
    📦 #642
    auto-420cd813-r1-054000393-7fb18db2
    標準答案

    請提供您的訂購資訊,我會幫您查詢訂單狀態。

    補充說明 · n=1
    • 請提供您的訂購資訊,我會幫您查詢訂單狀態
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 電商訂單搜尋是怎麼用的?
    📦 #642
    auto-420cd813-r1-054000393-b3590d8e
    標準答案

    電商訂單搜尋 executor 是透過打 JTCG SaaS API 來進行搜尋,也會使用 vendor parser 來格式化數據。

    核心必答 · n=2
    • 電商訂單搜尋 executor 是透過打 JTCG SaaS API 來進行搜尋
    • 會使用 vendor parser 來格式化數據
    預期觸發情境
    early_return
    預期呼叫工具
    shopline_search_orders
    編輯
  • 這次活動有什麼優惠或抽獎嗎?
    📦 #642
    auto-420cd813-r1-054000393-4369945e
    標準答案

    根據我的了解,活動相關的查詢包括報名、優惠和抽獎等。為了確保準確,建議你跟真人客服確認一下喔!

    補充說明 · n=1
    • 建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 怎麼查詢之前的對話記錄?
    📦 #642
    auto-420cd813-r1-054000393-1465cce1
    標準答案

    可以檢索最近 7 輪之前的對話記錄,沒有參數則會顯示精簡摘要。

    核心必答 · n=2
    • 可以檢索最近 7 輪之前的對話記錄
    • 沒有參數則會顯示精簡摘要
    預期觸發情境
    early_return
    預期呼叫工具
    get_history
    編輯
02

最近執行

此套件尚未有執行紀錄。