Omnichat 測試 (bulk R1)

17 個案例 · 3 個產出 · 2 次執行 · 最後執行 大約1小時 前 · drift ✓ 大約1小時 前

⋯ more
編輯套件 Gate 門檻 (0) + 新增案例
LLM 累計成本（Eris-tracked，含 generations + runs）
$0.0332 235,029 tokens · 114 calls
Generations $0.0332 114 calls
Runs (Judge) $0.0000 0 judgements
RUNNING
2 個 evaluation 進行中：
01

案例 (17)

項目 II.

情境調用與完成

scenario_funnel 10 cases
  • 這個髮片要怎麼使用？
    📦 #317
    auto-f1f999dc-r1-053959180-fa07a686
    標準答案

    使用髮片的方法包括：首先確保你的頭髮乾淨並且完全乾燥。然後，將髮片對準你想要增加的區域，輕輕按壓緊貼頭皮。此外，建議使用前先閱讀使用注意事項，以確保效果最佳。若想了解更多詳細信息，請告訴我！

    核心必答 · n=2
    • 首先確保你的頭髮乾淨並且完全乾燥
    • 將髮片對準你想要增加的區域，輕輕按壓緊貼頭皮
    重要限制 · n=1
    • 建議使用前先閱讀使用注意事項，以確保效果最佳
    補充說明 · n=1
    • 若想了解更多詳細信息，請告訴我
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問這款髮片的價格是多少呢？
    📦 #317
    auto-f1f999dc-r1-053959180-fc7e5c47
    標準答案

    根據我的了解，這款髮片的價格會依據不同系列和款式有所變動。為了確保準確，建議你跟真人客服確認一下喔！

    核心必答 · n=1
    • 這款髮片的價格會依據不同系列和款式有所變動
    補充說明 · n=1
    • 建議你跟真人客服確認一下
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問我可以查詢我的訂單狀態嗎？
    📦 #317
    auto-f1f999dc-r1-053959180-615295b1
    標準答案

    為了幫我查詢您的訂單狀態，請提供您的姓名和訂單編號。

    核心必答 · n=1
    • 請提供您的姓名和訂單編號
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 產品的維護和保養是怎麼樣的?
    📦 #317
    auto-f1f999dc-r1-053959180-4623f547
    標準答案

    關於產品的維護保養，主要包括保養、維修及使用期限。建議定期清潔和檢查產品，並根據使用手冊來進行維護。如果有故障的情況，建議尋求專業維修服務。使用期限則通常取決於產品的具體種類和材料，具體細節可以查詢相關資料。如果需要更詳細的信息，你可以跟真人客服確認一下喔！

    核心必答 · n=4
    • 建議定期清潔和檢查產品
    • 根據使用手冊來進行維護
    • 如果有故障的情況，建議尋求專業維修服務
    • 使用期限通常取決於產品的具體種類和材料
    重要限制 · n=1
    • 具體細節可以查詢相關資料
    補充說明 · n=1
    • 如果需要更詳細的信息，你可以跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 你們現在有什麼促銷活動嗎？
    📦 #317
    auto-f1f999dc-r1-053959180-8e92f071
    標準答案

    根據我的了解，目前我們有各種促銷活動和優惠。為了確保準確，建議你跟真人客服確認一下喔！

    核心必答 · n=1
    • 目前我們有各種促銷活動和優惠
    補充說明 · n=1
    • 建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 如果查不到我的訂單，會怎麼辦?
    📦 #317
    auto-f1f999dc-r1-053959180-c728bb17
    標準答案

    如果沒有找到相關訂單，系統會確認並提供聯繫客服的選項來協助你解決問題。

    核心必答 · n=1
    • 系統會確認並提供聯繫客服的選項來協助你解決問題
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我的訂單狀態怎麼樣?
    📦 #317
    auto-f1f999dc-r1-053959180-5330fd9d
    標準答案

    請提供你的訂購姓名和訂單編號，我可以幫你查詢訂單狀態。

    補充說明 · n=1
    • 請提供你的訂購姓名和訂單編號
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我想查詢一下我的訂單狀態，請問需要提供哪些個人資訊呢？
    📦 #317
    auto-f1f999dc-r1-053959180-4bd3464d
    標準答案

    訂單查詢的時候，我需要您提供一些個人資訊來幫助查詢，像是您的姓名或訂單編號。您可以告訴我嗎？

    核心必答 · n=2
    • 需要提供一些個人資訊來幫助查詢
    • 像是您的姓名或訂單編號
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我的訂單查詢會不會把相似的訂單合併回覆?
    📦 #317
    auto-f1f999dc-r1-053959180-87581655
    標準答案

    是的，如果找到多個相關訂單，系統會將它們邏輯性地合併回覆，以便提供更清晰的資訊。

    核心必答 · n=1
    • 系統會將多個相關訂單邏輯性地合併回覆
    補充說明 · n=1
    • 以便提供更清晰的資訊
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 有沒有最新的活動資訊？
    📦 #317
    auto-f1f999dc-r1-053959180-f50907ca
    標準答案

    根據我的了解，關於最新的活動資訊，建議你查看我們的社群媒體或網站以獲取最新的優惠和促銷資訊。為了確保準確，建議你跟真人客服確認一下喔！

    核心必答 · n=1
    • 建議查看我們的社群媒體或網站以獲取最新的優惠和促銷資訊
    補充說明 · n=1
    • 建議跟真人客服確認一下
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
項目 III.

對話素養（混合問答）

mixed_qa 7 cases
  • 請問電商訂單搜尋是怎麼格式化的呢？
    📦 #318
    auto-f1f999dc-r1-053959180-e37b9817
    標準答案

    電商訂單搜尋使用 JTCG SaaS API 並且透過 vendor parser 格式化訂單資訊。

    核心必答 · n=2
    • 電商訂單搜尋使用 JTCG SaaS API
    • 透過 vendor parser 格式化訂單資訊
    預期觸發情境
    early_return
    預期呼叫工具
    shopline_search_orders
    編輯
  • 請問什麼情況下可以轉接真人客服？
    📦 #318
    auto-f1f999dc-r1-053959180-965500a5
    標準答案

    轉接真人客服的條件包括線上客服、在線客服和真人客服的請求，此外也包括直接轉接請求、情緒升級或解決失敗的情況。

    核心必答 · n=2
    • 轉接真人客服的條件包括線上客服、在線客服和真人客服的請求
    • 也包括直接轉接請求、情緒升級或解決失敗的情況
    預期觸發情境
    轉接真人客服
    編輯
  • 統一搜尋要生成什麼關鍵字?
    📦 #318
    auto-f1f999dc-r1-053959180-7f16a831
    標準答案

    統一搜尋必須生成每個地區的 BM25 關鍵字。

    核心必答 · n=1
    • 統一搜尋必須生成每個地區的 BM25 關鍵字
    預期觸發情境
    early_return
    預期呼叫工具
    search_unified
    編輯
  • 你們的服務時間是什麼時候?
    📦 #318
    auto-f1f999dc-r1-053959180-04798a79
    標準答案

    我們的服務時間是周一至周五，上午九點到下午六點。若有其他問題，建議你跟真人客服確認一下喔！

    核心必答 · n=1
    • 服務時間是周一至周五，上午九點到下午六點
    補充說明 · n=1
    • 若有其他問題，建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 可以查詢之前的對話記錄嗎?
    📦 #318
    auto-f1f999dc-r1-053959180-81f852db
    標準答案

    可以的，使用 get_history 這個工具可以檢索最近 7 輪之前的對話記錄。

    核心必答 · n=1
    • 使用 get_history 這個工具可以檢索最近 7 輪之前的對話記錄
    預期觸發情境
    early_return
    預期呼叫工具
    get_history
    編輯
  • 如果找不到我的訂單怎麼辦?
    📦 #318
    auto-f1f999dc-r1-053959180-ade720c1
    標準答案

    如果未找到相關訂單，系統會確認並提供與客服聯繫的選項。

    核心必答 · n=1
    • 如果未找到相關訂單，系統會確認並提供與客服聯繫的選項
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 要怎麼轉接人類客服?
    📦 #318
    auto-f1f999dc-r1-053959180-44f5a5d8
    標準答案

    當用戶明確要求人類客服時，可以進行轉接。

    核心必答 · n=1
    • 當用戶明確要求人類客服時，可以進行轉接
    預期觸發情境
    early_return
    預期呼叫工具
    transfer_to_human_agent
    編輯
02

最近執行