FamiPets 小幫手 (bulk R1)

17 個案例 · 3 個產出 · 2 次執行 · 最後執行 5分鐘 前 · drift ✓ 8分鐘 前

⋯ more
LLM 累計成本(Eris-tracked,含 generations + runs)
$0.0370 270,542 tokens · 132 calls
Generations $0.0370 132 calls
Runs (Judge) $0.0000 0 judgements
RUNNING
2 個 evaluation 進行中:
01

案例 (17)

項目 II.

情境調用與完成

scenario_funnel 10 cases
  • 產品的使用方法是什麼?
    📦 #191
    auto-e76dff18-r1-053958719-83552199
    標準答案

    使用方法主要包括按照產品說明進行操作,確保遵循說明書上的指示。如果您有特定的產品查詢,建議提供產品名稱以便我們能更準確地幫助您。

    核心必答 · n=2
    • 使用方法主要包括按照產品說明進行操作
    • 確保遵循說明書上的指示
    補充說明 · n=1
    • 建議提供產品名稱以便我們能更準確地幫助您
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 退換貨的服務時間是什麼時候?
    📦 #191
    auto-e76dff18-r1-053958719-e7a927a1
    標準答案

    我們的退換貨服務時間在營業時間內,通常是週一至週五的上午 9 點到下午 6 點。為了確保準確,建議您跟真人客服確認一下喔!

    核心必答 · n=2
    • 退換貨服務時間在營業時間內
    • 通常是週一至週五的上午 9 點到下午 6 點
    補充說明 · n=1
    • 建議您跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 你們的粉絲團在哪裡啊
    📦 #191
    auto-e76dff18-r1-053958719-4ddc8f4a
    標準答案

    你可以在 Facebook 上找到我們的粉絲團,網址是:facebook.com/你們的粉絲團。

    核心必答 · n=2
    • 你可以在 Facebook 上找到我們的粉絲團
    • 網址是:facebook.com/你們的粉絲團
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 訂單查詢需要提供什麼個人資訊?
    📦 #191
    auto-e76dff18-r1-053958719-18aaefe9
    標準答案

    訂單查詢需要您提供必要的個人資訊,例如訂購姓名或聯絡電話,以便我們能夠找到相關的訂單資訊。

    核心必答 · n=2
    • 訂單查詢需要您提供必要的個人資訊
    • 例如訂購姓名或聯絡電話
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我的訂單查詢有沒有相關的記錄?
    📦 #191
    auto-e76dff18-r1-053958719-0f494bb1
    標準答案

    系統沒有找到相關的訂單紀錄,建議聯繫客服以獲得更多協助。

    核心必答 · n=1
    • 系統沒有找到相關的訂單紀錄
    補充說明 · n=1
    • 建議聯繫客服以獲得更多協助
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我可以查詢我的訂單詳情嗎?
    📦 #191
    auto-e76dff18-r1-053958719-35973684
    標準答案

    請提供您的姓名或訂單編號,我可以幫您查詢訂單詳情。

    補充說明 · n=1
    • 請提供您的姓名或訂單編號,我可以幫您查詢訂單詳情
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我的訂單狀態怎麼查詢?
    📦 #191
    auto-e76dff18-r1-053958719-fa199004
    標準答案

    查詢訂單狀態需要提供一些必要的個人資訊,像是訂單編號或聯絡電話。請提供這些資訊,我才能幫你查詢。

    核心必答 · n=2
    • 查詢訂單狀態需要提供一些必要的個人資訊
    • 像是訂單編號或聯絡電話
    補充說明 · n=1
    • 請提供這些資訊,我才能幫你查詢
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 你們有什麼活動或優惠嗎?
    📦 #191
    auto-e76dff18-r1-053958719-0bf33e93
    標準答案

    目前有開放各類活動、報名參加及優惠促銷,詳細資訊可以查詢我們的官方網站或社群媒體獲得最新消息。為了確保準確,建議你跟真人客服確認一下喔!

    核心必答 · n=1
    • 目前有開放各類活動、報名參加及優惠促銷
    補充說明 · n=2
    • 詳細資訊可以查詢我們的官方網站或社群媒體獲得最新消息
    • 建議你跟真人客服確認一下喔
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 最近有什麼活動啊?
    📦 #191
    auto-e76dff18-r1-053958719-cb3ea383
    標準答案

    最近我們有各種活動,包括優惠、促銷和抽獎等。具體信息建議你查看我們的官網或社交媒體,以獲得最新消息。

    核心必答 · n=1
    • 最近我們有各種活動,包括優惠、促銷和抽獎等
    補充說明 · n=1
    • 具體信息建議你查看我們的官網或社交媒體,以獲得最新消息
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我的訂單在哪裡?
    📦 #191
    auto-e76dff18-r1-053958719-c4c9e1f7
    標準答案

    我來幫你查一下你的訂單。如果沒有找到相關訂單,我會建議你聯繫客服。

    核心必答 · n=1
    • 我來幫你查一下你的訂單
    補充說明 · n=1
    • 如果沒有找到相關訂單,我會建議你聯繫客服
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
項目 III.

對話素養(混合問答)

mixed_qa 7 cases
  • 統一搜尋是什麼?
    📦 #192
    auto-e76dff18-r1-053958719-83529487
    標準答案

    統一搜尋是結合多通道 BM25 和向量 RRF 融合的搜尋工具,支援五種來源類型,並且必須生成三個多樣的向量查詢以及每個地區的 BM25 關鍵字。

    核心必答 · n=4
    • 統一搜尋是結合多通道 BM25 和向量 RRF 融合的搜尋工具
    • 支援五種來源類型
    • 必須生成三個多樣的向量查詢
    • 必須生成每個地區的 BM25 關鍵字
    預期觸發情境
    early_return
    預期呼叫工具
    search_unified
    編輯
  • 可以查到我最近的訂單嗎
    📦 #192
    auto-e76dff18-r1-053958719-b2c71ad6
    標準答案

    可以,請提供您的一些個人資訊,我將幫您查詢最近的訂單。

    核心必答 · n=1
    • 可以查詢最近的訂單
    補充說明 · n=1
    • 請提供您的一些個人資訊
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 可以用什麼格式查詢訂單?
    📦 #192
    auto-e76dff18-r1-053958719-b2260a57
    標準答案

    電商訂單搜尋 executor 會使用 JTCG SaaS API + vendor parser 來格式化訂單資訊。

    核心必答 · n=1
    • executor 會使用 JTCG SaaS API + vendor parser 來格式化訂單資訊
    預期觸發情境
    early_return
    預期呼叫工具
    shopline_search_orders
    編輯
  • get_history 是怎麼使用的?
    📦 #192
    auto-e76dff18-r1-053958719-a0340d63
    標準答案

    get_history 是用來檢索早期對話記錄的工具,可以在最近 7 輪對話之前檢索到對話內容。如果不帶參數,會提供簡短摘要;若使用 trace/end_trace,則會顯示完整內容。

    核心必答 · n=4
    • get_history 是用來檢索早期對話記錄的工具
    • 可以在最近 7 輪對話之前檢索到對話內容
    • 如果不帶參數,會提供簡短摘要
    • 若使用 trace/end_trace,則會顯示完整內容
    預期觸發情境
    early_return
    預期呼叫工具
    get_history
    編輯
  • 問句需要什麼格式才會觸發搜尋?
    📦 #192
    auto-e76dff18-r1-053958719-3e64339f
    標準答案

    任何帶有問號、語氣詞或問句詞的查詢,例如「如何」、「什麼」、「哪裡」、「多少」等,都會立即觸發知識與產品查詢。

    核心必答 · n=1
    • 任何帶有問號、語氣詞或問句詞的查詢都會立即觸發知識與產品查詢
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 轉接真人客服的條件是什麼?
    📦 #192
    auto-e76dff18-r1-053958719-d5964ea1
    標準答案

    轉接真人客服的觸發條件包括線上客服、在線客服、真人客服、轉真人、直接轉接請求、情緒升級和解決失敗。

    核心必答 · n=1
    • 轉接真人客服的觸發條件包括線上客服、在線客服、真人客服、轉真人、直接轉接請求、情緒升級和解決失敗
    預期觸發情境
    轉接真人客服
    編輯
  • 可以轉接到真人客服嗎
    📦 #192
    auto-e76dff18-r1-053958719-7a6b1248
    標準答案

    可以,當您明確要求轉接或 AI 無法回答您的問題時,我可以幫您轉接到真人客服。也適用於您表現出強烈負面情緒或問題超出 AI 能力的情況。

    核心必答 · n=1
    • 我可以幫您轉接到真人客服
    重要限制 · n=2
    • 當您明確要求轉接或 AI 無法回答您的問題時
    • 適用於您表現出強烈負面情緒或問題超出 AI 能力的情況
    預期觸發情境
    early_return
    預期呼叫工具
    transfer_to_human_agent
    編輯
02

最近執行