Sunny's AI (bulk R1)

30 個案例 · 3 個產出 · 2 次執行 · 最後執行 大約1小時 前

勘誤 · 配置漂移

Suite 與目前 bot 配置已漂移

1 個情境新增 大約1小時 前檢查
情境清單
新增 (1)
  • scenario id 2807
⋯ more
LLM 累計成本(Eris-tracked,含 generations + runs)
$0.0425 299,884 tokens · 182 calls
Generations $0.0425 182 calls
Runs (Judge) $0.0000 0 judgements
RUNNING
2 個 evaluation 進行中:
01

案例 (30)

項目 I.

知識庫精準度

kb_accuracy 10 cases
  • 不會滑雪的人能參加觀光行程嗎
    📦 #361
    auto-b5989ae4-r1-053959523-08f71775
    標準答案

    可以,不會滑雪的人可以參加觀光行程。

    核心必答 · n=1
    • 不會滑雪的人可以參加觀光行程
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 專業教練可以減少滑雪受傷風險嗎
    📦 #361
    auto-b5989ae4-r1-053959523-b7f207f9
    標準答案

    可以。專業教練可降低受傷風險並快速學會基本技巧。

    核心必答 · n=2
    • 專業教練可降低受傷風險
    • 專業教練可快速學會基本技巧
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 去熱門雪場需要會日文嗎?
    📦 #361
    auto-b5989ae4-r1-053959523-17afabc1
    標準答案

    不一定,多數熱門雪場有英文與中文協助。

    核心必答 · n=1
    • 多數熱門雪場有英文與中文協助
    補充說明 · n=1
    • 不一定
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 滑雪裝備租借大約要多少預算?
    📦 #361
    auto-b5989ae4-r1-053959523-cf2493b0
    標準答案

    滑雪裝備租借的預算每日約為日幣 4,000 至 7,000。

    核心必答 · n=1
    • 滑雪裝備租借的預算每日約為日幣 4,000 至 7,000
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 冬季自駕前往日本滑雪場需要什麼嗎?
    📦 #361
    auto-b5989ae4-r1-053959523-fecae74c
    標準答案

    冬季自駕前往日本滑雪場需要使用雪胎。

    核心必答 · n=1
    • 冬季自駕前往日本滑雪場需要使用雪胎
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 北海道的滑雪地區有哪些?
    📦 #361
    auto-b5989ae4-r1-053959523-1b232c8b
    標準答案

    北海道的滑雪地區包括札幌、二世谷 Niseko 和富良野。

    核心必答 · n=1
    • 北海道的滑雪地區包括札幌、二世谷 Niseko 和富良野
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 富良野適合初學者滑雪嗎
    📦 #361
    auto-b5989ae4-r1-053959523-0bd13515
    標準答案

    富良野適合初學者滑雪。

    核心必答 · n=1
    • 富良野適合初學者滑雪
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問滑雪者應遵守什麼規定?
    📦 #361
    auto-b5989ae4-r1-053959523-4b46bae4
    標準答案

    滑雪者應遵守雪道標示與雪場規定。

    核心必答 · n=1
    • 滑雪者應遵守雪道標示與雪場規定
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 滑雪課程的語言選擇有哪些?
    📦 #361
    auto-b5989ae4-r1-053959523-d55325e7
    標準答案

    滑雪課程的語言選擇包括日文、英文或中文。

    核心必答 · n=1
    • 滑雪課程的語言選擇包括日文、英文或中文
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 有適合小孩的雪場嗎?
    📦 #361
    auto-b5989ae4-r1-053959523-d6c7c5a9
    標準答案

    多數雪場設有兒童雪樂園與初學者區,如富良野、星野 TOMAMU、GALA 湯澤。

    核心必答 · n=2
    • 多數雪場設有兒童雪樂園與初學者區
    • 如富良野、星野 TOMAMU、GALA 湯澤
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
項目 II.

情境調用與完成

scenario_funnel 10 cases
  • 我的訂單查詢是怎麼進行的?
    📦 #362
    auto-b5989ae4-r1-053959523-d53aecef
    標準答案

    訂單查詢會使用 shopline_search_orders 的工具,根據聊天記錄搜尋相關的訂單資訊。如果有多個相關的訂單會將它們合併列出,如果找不到相關訂單,會告知並提供直接聯絡客服的選項。

    核心必答 · n=3
    • 訂單查詢會使用 shopline_search_orders 的工具
    • 根據聊天記錄搜尋相關的訂單資訊
    • 如果找不到相關訂單,會告知並提供直接聯絡客服的選項
    重要限制 · n=1
    • 如果有多個相關的訂單會將它們合併列出
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我想查詢我的訂單狀態,請問該怎麼做?
    📦 #362
    auto-b5989ae4-r1-053959523-a375aa18
    標準答案

    首先,我需要您提供一些個人資訊來查詢您的訂單狀態。如果在系統中找不到相關訂單,我會確認並提供客服查詢的選項。

    核心必答 · n=1
    • 需要提供一些個人資訊來查詢您的訂單狀態
    重要限制 · n=1
    • 如果在系統中找不到相關訂單,我會確認並提供客服查詢的選項
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 有關於政策的問題要怎麼處理?
    📦 #362
    auto-b5989ae4-r1-053959523-85c5abb5
    標準答案

    政策相關的問題可以直接詢問。根據我的了解,若你有具體的政策問題,請告訴我,我將提供所需的資訊。為了確保準確,建議你跟真人客服確認一下喔!

    核心必答 · n=1
    • 政策相關的問題可以直接詢問
    重要限制 · n=1
    • 建議你跟真人客服確認一下
    補充說明 · n=1
    • 若你有具體的政策問題,請告訴我,我將提供所需的資訊
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 請問在查詢訂單時需要提供哪些個人資訊呢?
    📦 #362
    auto-b5989ae4-r1-053959523-f79a9f33
    標準答案

    在查詢訂單時,您需要提供必要的個人資訊,例如訂購姓名或聯絡方式,以及訂單編號。如果您有這些資訊,可以讓我們更快幫您查詢訂單狀態。

    核心必答 · n=2
    • 您需要提供必要的個人資訊,例如訂購姓名或聯絡方式,以及訂單編號
    • 有這些資訊可以讓我們更快幫您查詢訂單狀態
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 為什麼你們網站上沒有政策相關的信息?
    📦 #362
    auto-b5989ae4-r1-053959523-4c5bc184
    標準答案

    根據我的了解,政策相關的查詢可以使用關鍵字進行搜尋。如果需要幫忙查詢特定的政策或條款,請告訴我具體的內容,我可以幫您找找。為了確保準確,建議你跟真人客服確認一下喔!

    核心必答 · n=1
    • 政策相關的查詢可以使用關鍵字進行搜尋
    重要限制 · n=1
    • 建議跟真人客服確認一下
    補充說明 · n=1
    • 如果需要幫忙查詢特定的政策或條款,請告訴我具體的內容
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我查詢一下我的訂單,因為沒有找到相關資訊,應該怎麼辦?
    📦 #362
    auto-b5989ae4-r1-053959523-cd466bdb
    標準答案

    如果沒有找到相關訂單,我會幫你確認並提供客服查詢的選項。你是否需要我幫你轉接到客服呢?

    核心必答 · n=1
    • 如果沒有找到相關訂單,我會幫你確認並提供客服查詢的選項
    補充說明 · n=1
    • 你是否需要我幫你轉接到客服呢?
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 有關公司的資訊在哪裡可以找到?
    📦 #362
    auto-b5989ae4-r1-053959523-0621ab6b
    標準答案

    您可以在我們的官網上找到有關公司的資訊,也可以查看我們的粉絲團或社群媒體了解更多最新消息和動態。官網: [公司網站 URL],粉絲團: [粉絲團 URL]。

    核心必答 · n=2
    • 您可以在我們的官網上找到有關公司的資訊
    • 可以查看我們的粉絲團或社群媒體了解更多最新消息和動態
    補充說明 · n=2
    • 官網: [公司網站 URL]
    • 粉絲團: [粉絲團 URL]
    預期觸發情境
    知識與產品查詢
    預期呼叫工具
    search_unified
    編輯
  • 我想查詢我的訂單,為什麼只看到一部分的資訊?
    📦 #362
    auto-b5989ae4-r1-053959523-8b80c2ac
    標準答案

    如果系統找到多個相關訂單,會邏輯性地將它們合併回覆。如果您覺得資訊不完整,可能是因為相關訂單太多或者資料有誤。需要我再幫您查詢一下嗎?

    核心必答 · n=1
    • 系統找到多個相關訂單,會邏輯性地將它們合併回覆
    重要限制 · n=1
    • 資訊不完整可能是因為相關訂單太多或者資料有誤
    補充說明 · n=1
    • 需要我再幫您查詢一下嗎
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 有查到我之前的訂單嗎?
    📦 #362
    auto-b5989ae4-r1-053959523-e96b41df
    標準答案

    如果找到多個相關訂單,系統會邏輯性地將它們合併回覆。請提供你的姓名和聯絡電話,以便幫助你查詢訂單。

    核心必答 · n=1
    • 系統會邏輯性地將多個相關訂單合併回覆
    補充說明 · n=1
    • 請提供你的姓名和聯絡電話,以便幫助你查詢訂單
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
  • 我的訂單運送狀態怎麼樣?
    📦 #362
    auto-b5989ae4-r1-053959523-efded8e2
    標準答案

    請提供你的訂單詳細資訊,我才能幫你查詢運送狀態。

    核心必答 · n=1
    • 請提供你的訂單詳細資訊
    補充說明 · n=1
    • 我才能幫你查詢運送狀態
    預期觸發情境
    訂單查詢
    預期呼叫工具
    shopline_search_orders
    編輯
項目 III.

對話素養(混合問答)

mixed_qa 10 cases
  • 滑雪課程的語言選擇有哪些?
    📦 #363
    auto-b5989ae4-r1-053959523-8fdab562
    標準答案

    滑雪課程的語言選擇包括日文、英文或中文。

    核心必答 · n=1
    • 滑雪課程的語言選擇包括日文、英文或中文
    預期觸發情境
    early_return
    編輯
  • 不提供參數時 get_history 會怎麼樣?
    📦 #363
    auto-b5989ae4-r1-053959523-e614b1eb
    標準答案

    不提供參數時,get_history 會返回簡潔的摘要。

    核心必答 · n=1
    • 不提供參數時,get_history 會返回簡潔的摘要
    預期觸發情境
    early_return
    預期呼叫工具
    get_history
    編輯
  • 情緒升級的時候會怎麼辦?
    📦 #363
    auto-b5989ae4-r1-053959523-39c54915
    標準答案

    如果情緒升級或解決失敗,會觸發轉接真人客服的流程。

    核心必答 · n=1
    • 如果情緒升級或解決失敗,會觸發轉接真人客服的流程
    預期觸發情境
    轉接真人客服
    編輯
  • 日本滑雪季的 1 月和 2 月雪況怎樣?
    📦 #363
    auto-b5989ae4-r1-053959523-d01d2b0e
    標準答案

    日本滑雪季通常為每年 12 月至隔年 3 月,其中 1 月和 2 月雪況最穩定、粉雪品質最佳。

    核心必答 · n=2
    • 日本滑雪季通常為每年 12 月至隔年 3 月
    • 1 月和 2 月雪況最穩定、粉雪品質最佳
    預期觸發情境
    early_return
    編輯
  • 初學者什麼時候去比較好啊?
    📦 #363
    auto-b5989ae4-r1-053959523-56a5e2c9
    標準答案

    建議 12 月下旬至 2 月底,雪量充足、雪質柔軟,適合學習與練習。

    核心必答 · n=2
    • 建議 12 月下旬至 2 月底
    • 雪量充足、雪質柔軟,適合學習與練習
    預期觸發情境
    early_return
    編輯
  • 請問富良野適合初學者滑雪嗎?
    📦 #363
    auto-b5989ae4-r1-053959523-c8813b7f
    標準答案

    是的,富良野非常適合初學者滑雪。

    核心必答 · n=1
    • 富良野非常適合初學者滑雪
    預期觸發情境
    early_return
    編輯
  • 為什麼初學者需要上滑雪課?
    📦 #363
    auto-b5989ae4-r1-053959523-bdb7dc5b
    標準答案

    強烈建議。專業教練可降低受傷風險並快速學會基本技巧。

    核心必答 · n=2
    • 專業教練可降低受傷風險
    • 專業教練可快速學會基本技巧
    補充說明 · n=1
    • 強烈建議
    預期觸發情境
    early_return
    編輯
  • 滑雪旅遊大概要多少預算?
    📦 #363
    auto-b5989ae4-r1-053959523-ed4b99a9
    標準答案

    以 5 天 4 夜為例(不含機票): 住宿:每日約日幣 10,000-30,000 纜車票:每日約日幣 5,000-8,000 裝備租借:每日約日幣 4,000-7,000 課程費用:依課程類型而定。

    核心必答 · n=4
    • 住宿每日約日幣 10,000-30,000
    • 纜車票每日約日幣 5,000-8,000
    • 裝備租借每日約日幣 4,000-7,000
    • 課程費用依課程類型而定
    預期觸發情境
    early_return
    編輯
  • 不會滑雪的人可以購物嗎?
    📦 #363
    auto-b5989ae4-r1-053959523-e8b91b87
    標準答案

    可以的,不會滑雪的人也可以進行購物。

    核心必答 · n=1
    • 不會滑雪的人也可以進行購物
    預期觸發情境
    early_return
    編輯
  • 長野縣有名的滑雪地區是什麼?
    📦 #363
    auto-b5989ae4-r1-053959523-a32f1e97
    標準答案

    長野縣有名的滑雪地區包括白馬和志賀高原。

    核心必答 · n=1
    • 長野縣有名的滑雪地區包括白馬和志賀高原
    預期觸發情境
    early_return
    編輯
02

最近執行