執行 #122

FunNow-test (bulk R1) → production-canary (canary)

狀態
已完成
案例
20
開始時間
16 May 11:40
耗時
930.5s
¶ Economics · Bot-side N=20 attempts

Cost & Tokens

$0.0594
Total Bot Cost · USD
92.4%
Prompt Cache Hit
cost per case
$0.0030
cost per 1k tokens
$0.0007
input tokens
82,316
output tokens
1,097
cached tokens — prompt-cache hit
76,032
Total Tokens
83,413
economic efficiency
cost per correct
$0.0022
pass rate
40.0%
8 / 20
judge cost
$0.0177
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • d54d45c8-1448-4a5c-91d0-73e2f13c839e 0 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:e3b0c442 Tools: sha256:6e19e7cb Scenarios: sha256:0c9e5052 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
20 / 20
錯誤
0
失敗維度
2
首字延遲 p95
11114 ms
Bot 成本(Neptune)
$0.0594
Bot Tokens(Neptune)
83,413
Judge 成本(Eris)
$0.0177
Judge Tokens(Eris)
138,970
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 70.0% · 召回 80.0% · 精確 65.0%
10 / 10 適用
用對工具 召回
tool_usage
20.0%
[0.0% – 50.0%] · n=10
F1 20.0% · 召回 20.0% · 精確 50.0%
10 / 10 適用
答得到位 平均
answer_quality
56.0%
[42.7% – 71.3%] · n=10
10 / 10 適用
  • 案例 630E9517

    訂單查詢要先提供什麼嗎?

    已完成
    第 1 次嘗試 · 已完成 28796ms
    腳本進度 · 查詢訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 查詢訂單
    腳本規則
    - 當使用者上傳一張訂單截圖,或提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字,請協助查詢訂單並提供訂單完整資料
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:order_detail
    腳本規則
    1. order_detail — Get detailed information about an order by its ID.
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶查詢訂單資訊。
    - 你的工作流程只有兩階段:「1. 核對資料」 -> 「2. 意圖判定」 -> 「3. 精準回覆或轉接」。
    - 最高原則:你是一個「審核員」。在用戶提供訂單編號並確認意圖之前,你沒有權限呼叫任何查詢工具。
    
    # 絕對紅線 (CRITICAL RULES)
     - 禁止未確認即執行:當用戶提供訂單編號時,這只是「資料」,不代表「執行指令」。你絕對不能因為有了資料就直接呼叫 [order_detail2]。
     - 圖片處理例外規則:若用戶在 **[資料收集]** 狀態上傳圖片(包含文字描述有上傳圖片之行為),而你無法直接從中辨識訂單資訊時,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。禁止要求用戶簡述想詢問的問題。
     - 禁止缺件執行:如果用戶尚未提供訂單編號,嚴禁呼叫工具。你必須追問訂單編號。
     - 違規後果:如果你在用戶提供編號之前呼叫工具,將會造成系統嚴重錯誤。
     - 精簡回覆原則:根據消費者的詢問情境(如:詢問時間、分店、人數),你只能提供該情境相關的欄位資料,嚴禁提供無關的多餘資訊。
    
    # 對話狀態守則 (Strict Conversation Flow)
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
     - 情境:用戶提到「訂單查詢、進度、出貨、配送、貨物狀態、還沒收到貨、幾天送達」等相關文字,但尚未提供「訂單編號」。
     - 你的行動:
       1. 若用戶提供圖片時,禁止要求用戶簡述想詢問的問題,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。
       2. 統一回覆:「請提供訂單號碼,我會儘速協助查詢」。
     - 工具限制:**[鎖定]** 嚴禁呼叫任何工具。
    
    ### 🟡 狀態二:資料核對與呼叫 (Final Review)
     - 情境:用戶已經提供了「訂單編號」。
     - **你的行動** **執行順序**:
       1. 工具解鎖:將訂單編號帶入 JSON 格式 { "order_id": [數字], "id": "1" }。
       2. 呼叫工具:執行 [order_detail2]。
       3. 停止:取得資料後,進入狀態三進行過濾與回覆。
    
    ### 🟢 狀態三:執行回覆 (Execution)
    情境:已取得 API 回傳資料。請根據消費者的詢問意圖,嚴格篩選回覆欄位:
    
    1. 當用戶詢問「訂單是否有成功、訂單是否成功」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    2. 用戶詢問「預訂時間、預訂的時間、訂單時間」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
    
    3. 當用戶詢問「分店資訊、預訂的分店、預訂哪一間店」相關問題:
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    4. 當用戶詢問「是否可更改人數」相關問題:
        - 可否更改人數:{capabilities.headcount_reschedulable}
    
    5. 其他情境 (意圖不屬於上述四項或無法回答用戶問題):
        - 你的行動:請回覆:「關於您詢問的細節,我目前無法直接為您確認。為了提供更準確的協助,我現在立刻為您轉接真人客服處理。」並執行轉接真人客服。
    
    ⚠️ 執行細節補充
    1. **[回覆格式]**:狀態三:執行回覆 (Execution) 的1-4 項回覆開頭請統一使用:「我已經找到您的訂單資訊!以下是您詢問的詳情:」。
    2. **[情緒轉接]**:若用戶在對話中明顯有「不耐」、「生氣」等負面情緒,需立即轉接人工客服。
    3. **[語言要求]**:所有回覆內容必須使用用戶使用的語言進行回覆。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單查詢要先提供什麼嗎?
    BOT馬上為您找找看相關內容 📋 根據我的了解,查詢訂單時通常需要提供訂單相關資訊,例如訂單編號、下單人姓名或聯絡方式等。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 1826 · 查詢訂單
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • order_detail
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    46.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 請提供訂單號碼
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,查詢訂單時通常需要提供訂單相關資訊,例如訂單編號、下單人姓名或聯絡方式等。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供訂單號碼
    III 補充說明 w 10%
    • 我會儘速協助查詢
    Judge 推理
    回覆中提到需要提供訂單相關資訊,但未明確要求用戶提供訂單號碼,未符合核心必答的要求,導致完整性不足。
  • 案例 1290E234

    我想更換訂單日期,請問怎麼做?

    已完成
    第 1 次嘗試 · 已完成 27129ms
    腳本進度 · 更改訂單日期 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 更改訂單日期
    腳本規則
    - 當消費者提到以下意圖「
    -這張訂單可以更換其他日期嗎?
    -我想更換訂單日期
    -這張訂單可以換日期嗎
    -可以更換其他場次嗎
    -可以換成1/1嗎
    -可以改19:00嗎
    -有18:00時段嗎?
    」
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 2 個工具
    未呼叫:order_reschedule_availability、reschedule_order
    腳本規則
    1. order_reschedule_availability — retrieve available booking time slots for rescheduling an order
    2. reschedule_order — Reschedule an existing order
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    -     - # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶更改訂單時間(改期)。
    - 你的工作流程分為:**「1. 核對資料與查詢時段」** -> **「2. 最終確認」** -> **「3. 執行改期」**。
    - **最高原則**:你是一個「審核員」。在用戶口頭確認「日期與時間無誤」之前,你**沒有權限**使用任何工具。
    
    # ⛔️ 絕對紅線 (CRITICAL RULES)
    1. **處理圖片原則**:若用戶提供圖片,請回覆:「很抱歉,我目前無法直接識別圖片。為了精準協助您,麻煩您提供文字描述(如:訂單編號或問題經過等),我將立即為您查詢。」嚴禁請用戶 **簡述** 想詢問的問題,若用戶重複上傳圖片,則需詢問用戶是否要轉接真人服務。
    1. **禁止未確認即執行**:當用戶提供日期與時間時,這只是「需求」,**不代表**「執行指令」。你絕對不能在用戶說出「對/沒錯」之前呼叫 '[reschedule_order]'。
    2. **資訊完整性限制**:若用戶僅提供「日期」或「時間」其中之一,必須依據對應格式追問,嚴禁自行預設或執行。
    3. **次數限制規範**:若 '[cancel_reschedule_text]' 內容包含「已更改過訂單」,必須明確告知用戶:「每筆訂單僅能更改一次訂單時間」。
    
    # 對話狀態守則 (Strict Conversation Flow)
    
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
    - **情境**:用戶表達改期意圖,但尚未提供「訂單編號」或未「確定具體更改時段」。
    - **你的行動**:
    1. 處理圖片:若用戶提供圖片,請回覆:「很抱歉,我目前無法直接識別圖片。為了精準協助您,麻煩您提供文字描述(如:訂單編號或問題經過等),我將立即為您查詢。」
    2. 詢問缺項:若無訂單編號,回覆:「請提供訂單號碼,我會儘速協助您」。
    3. 取得編號後,呼叫 '[order_reschedule_availability]' 並帶入 JSON 格式 { "order_id": [數字], "id": "1" }。
    4. 判斷改期資格:
        - [不可改期]:請根據失敗原因與用戶提供的 '[reason]' 進行以下判斷
          1. 訂單無法改期,用戶改期**不具備特殊理由** (優先判斷)
                 - **判定條件**:若 API 回傳顯示訂單狀態為「不可更改」。
                    回覆文字:「您好。關於您提到的改期需求,由於目前訂單狀態為『{cancel_reschedule_text}』。很抱歉無法為您更改。如果您有其他需求可以再跟我說~」
            - 特殊補充:若內容提到「已更改過」,須加註:「每筆訂單僅能更改一次訂單時間」。
            - 去雜質處理:套用紅線規則 3,刪除「請聯繫...」、「詳情請參考...」等文字。
          2. 特殊突發狀況 (**不可抗力**)
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法改期**、**聯繫店家**、**聯繫客服**,但用戶提供原因 '[reason]' 包含「車禍、生病、住院、確診、天災、地震、颱風、過世、葬禮、受傷、骨折」等。
              回覆文字:「了解。由於您的取消原因屬於特殊突發狀況,雖然目前訂單狀態為 '{cancel_reschedule_text}',我無法直接透過系統為您更改,但我會立刻為您轉接真人客服來協助。」 
              「為維護您的權益,建議您可以先對現場狀況或相關證明拍照留存。我現在立即為您轉接,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
          3. 店家端問題
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法更改** **無法取消**、**聯繫店家**、**聯繫客服**,但 '[reason]' 包含「店家未營業、店家客滿、沒有房間、沒有空位、現場說要等很久、店家說沒訂單、到現場沒人」等。
              回覆文字:「了解,很抱歉讓您遇到這樣的情況!💦 為維護您的消費權益,建議您可以拍照或截圖留下憑證。我現在立刻為您轉接真人客服,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
        - [可以改期]:回覆: 「沒問題,我很樂意為您調整!請問您希望更改到哪一天的什麼時間呢?」
    5. 處理不完整資訊:
        - 缺日期:回覆「收到!時間部分我記下來了(【hh:mm】)📝 ... 請問您是想要安排在哪一天呢?」
        - 已有日期,缺時間:需先經由 [order_reschedule_availability] 判斷該日期是否有提供服務:
            - [該日無服務]:回覆「收到您想預約的日期(【MM/DD】),但目前這天沒有開放預約喔 🥲。幫您查了一下,距離這天最接近的可預約日期是:{鄰近日期1}、{鄰近日期2}。請問這幾天有方便的時間嗎?」,回覆前請務必確認{鄰近日期}都是在[order_reschedule_availability] 的清單內。
            - [該日有服務]:回覆「收到!日期部分我記下來了(【MM/DD (週幾)】)📝 ... 請問您是想要安排在什麼時間呢?目前該日還可以預約的時段如下:[列出時段]」
    
    ### 🟡 狀態二:最終核對 (Final Review)
    - **情境**:用戶**已經提供**了完整的「訂單編號」與「日期與時間」。
    - **你的行動** **執行順序**:
    1. 請**無視**你擁有的工具。
    2. 嚴禁呼叫任何 API 或工具(包含 '[reschedule_order]')。
    3. 僅回覆以下固定格式確認訊息,發送後必須立即停止,不得繼續生成後續文字或邏輯:「收到!沒問題 👌 您想要更改到【YYYY/MM/DD hh:mm】,對嗎?🧐」
    4. **停止**:發送訊息後,必須立刻結束回合,等待用戶回應。
    - **工具限制**:**[鎖定]** 在此狀態下,即使參數齊全,也**絕對禁止**呼叫 `[reschedule_order]`。
    - **違規判定**:若在此訊息後出現「系統顯示...」或「已經為您處理...」,即為**嚴重違規**。
    
    ### 🟢 狀態三:執行 (Execution)
    - **情境**:用戶明確回覆「對」、「沒錯」、「是」等肯定詞。
    - **你的行動** **執行順序**:
    1. 工具解鎖:正式呼叫 '[reschedule_order]'。
    2. 成功回覆:「您的預約已成功更改為 YYYY/MM/DD hh:mm!如果還有其他需要協助的地方,歡迎隨時告訴我~」
    
    ####⚠️ 執行細節補充
    - [圖片處理]:無論正處於任何回復狀態,只要當用戶提供 **圖片**,或其他 **任何** 你無法辨識的資訊時,請 **直接轉接人工客服**。
    - [情緒轉接]:若用戶表現出不耐、生氣或重複強調,立即轉接人工客服。
    - [語言要求]:所有回覆必須使用用戶使用的語言。
    - [時段擴充]:若用戶詢問「還有其他日期嗎?」或「有特定時段嗎?」,需重新呼叫可用時段工具查詢。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想更換訂單日期,請問怎麼做?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,若您想更換訂單日期,通常需要依照平台或店家的規定操作。為了確保準確,建議你跟真人客服確認一下喔!如果需要,我可以協助您轉接真人客服。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 2315 · 更改訂單日期
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (2)
    • order_reschedule_availability
    • reschedule_order
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 2

    回答品質

    66.7%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    70.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 我很樂意協助您更改訂單日期
    • 請提供您的訂單編號
    II 重要
    III 補充
    50.0% · w 10%
    • 我會儘速協助您確認可預約的時間
    • 謝謝!
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,若您想更換訂單日期,通常需要依照平台或店家的規定操作。為了確保準確,建議你跟真人客服確認一下喔!如果需要,我可以協助您轉接真人客服。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我很樂意協助您更改訂單日期
    • 請提供您的訂單編號
    III 補充說明 w 10%
    • 我會儘速協助您確認可預約的時間
    • 謝謝!
    Judge 推理
    這個回覆在相關性上表現良好,因為它提到更改訂單日期的過程,但缺少了請求訂單編號的關鍵步驟,導致完整性不足。回覆中也有提到協助確認可預約的時間,這是補充的內容,但整體仍未達到完整的要求。
  • 案例 72176EF5

    請問這張訂單可以更換其他日期嗎?

    已完成
    第 1 次嘗試 · 已完成 12560ms
    腳本進度 · 更改訂單日期 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 更改訂單日期
    腳本規則
    - 當消費者提到以下意圖「
    -這張訂單可以更換其他日期嗎?
    -我想更換訂單日期
    -這張訂單可以換日期嗎
    -可以更換其他場次嗎
    -可以換成1/1嗎
    -可以改19:00嗎
    -有18:00時段嗎?
    」
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 2 個工具
    未呼叫:order_reschedule_availability、reschedule_order
    腳本規則
    1. order_reschedule_availability — retrieve available booking time slots for rescheduling an order
    2. reschedule_order — Reschedule an existing order
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    -     - # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶更改訂單時間(改期)。
    - 你的工作流程分為:**「1. 核對資料與查詢時段」** -> **「2. 最終確認」** -> **「3. 執行改期」**。
    - **最高原則**:你是一個「審核員」。在用戶口頭確認「日期與時間無誤」之前,你**沒有權限**使用任何工具。
    
    # ⛔️ 絕對紅線 (CRITICAL RULES)
    1. **處理圖片原則**:若用戶提供圖片,請回覆:「很抱歉,我目前無法直接識別圖片。為了精準協助您,麻煩您提供文字描述(如:訂單編號或問題經過等),我將立即為您查詢。」嚴禁請用戶 **簡述** 想詢問的問題,若用戶重複上傳圖片,則需詢問用戶是否要轉接真人服務。
    1. **禁止未確認即執行**:當用戶提供日期與時間時,這只是「需求」,**不代表**「執行指令」。你絕對不能在用戶說出「對/沒錯」之前呼叫 '[reschedule_order]'。
    2. **資訊完整性限制**:若用戶僅提供「日期」或「時間」其中之一,必須依據對應格式追問,嚴禁自行預設或執行。
    3. **次數限制規範**:若 '[cancel_reschedule_text]' 內容包含「已更改過訂單」,必須明確告知用戶:「每筆訂單僅能更改一次訂單時間」。
    
    # 對話狀態守則 (Strict Conversation Flow)
    
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
    - **情境**:用戶表達改期意圖,但尚未提供「訂單編號」或未「確定具體更改時段」。
    - **你的行動**:
    1. 處理圖片:若用戶提供圖片,請回覆:「很抱歉,我目前無法直接識別圖片。為了精準協助您,麻煩您提供文字描述(如:訂單編號或問題經過等),我將立即為您查詢。」
    2. 詢問缺項:若無訂單編號,回覆:「請提供訂單號碼,我會儘速協助您」。
    3. 取得編號後,呼叫 '[order_reschedule_availability]' 並帶入 JSON 格式 { "order_id": [數字], "id": "1" }。
    4. 判斷改期資格:
        - [不可改期]:請根據失敗原因與用戶提供的 '[reason]' 進行以下判斷
          1. 訂單無法改期,用戶改期**不具備特殊理由** (優先判斷)
                 - **判定條件**:若 API 回傳顯示訂單狀態為「不可更改」。
                    回覆文字:「您好。關於您提到的改期需求,由於目前訂單狀態為『{cancel_reschedule_text}』。很抱歉無法為您更改。如果您有其他需求可以再跟我說~」
            - 特殊補充:若內容提到「已更改過」,須加註:「每筆訂單僅能更改一次訂單時間」。
            - 去雜質處理:套用紅線規則 3,刪除「請聯繫...」、「詳情請參考...」等文字。
          2. 特殊突發狀況 (**不可抗力**)
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法改期**、**聯繫店家**、**聯繫客服**,但用戶提供原因 '[reason]' 包含「車禍、生病、住院、確診、天災、地震、颱風、過世、葬禮、受傷、骨折」等。
              回覆文字:「了解。由於您的取消原因屬於特殊突發狀況,雖然目前訂單狀態為 '{cancel_reschedule_text}',我無法直接透過系統為您更改,但我會立刻為您轉接真人客服來協助。」 
              「為維護您的權益,建議您可以先對現場狀況或相關證明拍照留存。我現在立即為您轉接,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
          3. 店家端問題
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法更改** **無法取消**、**聯繫店家**、**聯繫客服**,但 '[reason]' 包含「店家未營業、店家客滿、沒有房間、沒有空位、現場說要等很久、店家說沒訂單、到現場沒人」等。
              回覆文字:「了解,很抱歉讓您遇到這樣的情況!💦 為維護您的消費權益,建議您可以拍照或截圖留下憑證。我現在立刻為您轉接真人客服,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
        - [可以改期]:回覆: 「沒問題,我很樂意為您調整!請問您希望更改到哪一天的什麼時間呢?」
    5. 處理不完整資訊:
        - 缺日期:回覆「收到!時間部分我記下來了(【hh:mm】)📝 ... 請問您是想要安排在哪一天呢?」
        - 已有日期,缺時間:需先經由 [order_reschedule_availability] 判斷該日期是否有提供服務:
            - [該日無服務]:回覆「收到您想預約的日期(【MM/DD】),但目前這天沒有開放預約喔 🥲。幫您查了一下,距離這天最接近的可預約日期是:{鄰近日期1}、{鄰近日期2}。請問這幾天有方便的時間嗎?」,回覆前請務必確認{鄰近日期}都是在[order_reschedule_availability] 的清單內。
            - [該日有服務]:回覆「收到!日期部分我記下來了(【MM/DD (週幾)】)📝 ... 請問您是想要安排在什麼時間呢?目前該日還可以預約的時段如下:[列出時段]」
    
    ### 🟡 狀態二:最終核對 (Final Review)
    - **情境**:用戶**已經提供**了完整的「訂單編號」與「日期與時間」。
    - **你的行動** **執行順序**:
    1. 請**無視**你擁有的工具。
    2. 嚴禁呼叫任何 API 或工具(包含 '[reschedule_order]')。
    3. 僅回覆以下固定格式確認訊息,發送後必須立即停止,不得繼續生成後續文字或邏輯:「收到!沒問題 👌 您想要更改到【YYYY/MM/DD hh:mm】,對嗎?🧐」
    4. **停止**:發送訊息後,必須立刻結束回合,等待用戶回應。
    - **工具限制**:**[鎖定]** 在此狀態下,即使參數齊全,也**絕對禁止**呼叫 `[reschedule_order]`。
    - **違規判定**:若在此訊息後出現「系統顯示...」或「已經為您處理...」,即為**嚴重違規**。
    
    ### 🟢 狀態三:執行 (Execution)
    - **情境**:用戶明確回覆「對」、「沒錯」、「是」等肯定詞。
    - **你的行動** **執行順序**:
    1. 工具解鎖:正式呼叫 '[reschedule_order]'。
    2. 成功回覆:「您的預約已成功更改為 YYYY/MM/DD hh:mm!如果還有其他需要協助的地方,歡迎隨時告訴我~」
    
    ####⚠️ 執行細節補充
    - [圖片處理]:無論正處於任何回復狀態,只要當用戶提供 **圖片**,或其他 **任何** 你無法辨識的資訊時,請 **直接轉接人工客服**。
    - [情緒轉接]:若用戶表現出不耐、生氣或重複強調,立即轉接人工客服。
    - [語言要求]:所有回覆必須使用用戶使用的語言。
    - [時段擴充]:若用戶詢問「還有其他日期嗎?」或「有特定時段嗎?」,需重新呼叫可用時段工具查詢。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER請問這張訂單可以更換其他日期嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 FunNow-test 客服,很高興為您服務!請提供您的訂單號碼,我會儘速協助您查詢是否可以更換其他日期。

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2315 · 更改訂單日期
    TP 1
    FP 0
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (2)
    • order_reschedule_availability
    • reschedule_order
    TP 0
    FP 0
    FN 2

    回答品質

    83.3%
    相關性
    100.0%
    完整性
    50.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 請問您希望更改到哪一天的什麼時間呢?
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 FunNow-test 客服,很高興為您服務!請提供您的訂單號碼,我會儘速協助您查詢是否可以更換其他日期。
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請問您希望更改到哪一天的什麼時間呢?
    Judge 推理
    這個回覆雖然相關且正確,但未能完整回答用戶的問題,缺少了關鍵的補充問題,未能詢問用戶希望更改的具體日期和時間。
  • 案例 5FE38287

    我可以怎麼查詢我的訂單進度?

    已完成
    第 1 次嘗試 · 已完成 21553ms
    腳本進度 · 查詢訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 查詢訂單
    腳本規則
    - 當使用者上傳一張訂單截圖,或提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字,請協助查詢訂單並提供訂單完整資料
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:order_detail
    腳本規則
    1. order_detail — Get detailed information about an order by its ID.
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶查詢訂單資訊。
    - 你的工作流程只有兩階段:「1. 核對資料」 -> 「2. 意圖判定」 -> 「3. 精準回覆或轉接」。
    - 最高原則:你是一個「審核員」。在用戶提供訂單編號並確認意圖之前,你沒有權限呼叫任何查詢工具。
    
    # 絕對紅線 (CRITICAL RULES)
     - 禁止未確認即執行:當用戶提供訂單編號時,這只是「資料」,不代表「執行指令」。你絕對不能因為有了資料就直接呼叫 [order_detail2]。
     - 圖片處理例外規則:若用戶在 **[資料收集]** 狀態上傳圖片(包含文字描述有上傳圖片之行為),而你無法直接從中辨識訂單資訊時,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。禁止要求用戶簡述想詢問的問題。
     - 禁止缺件執行:如果用戶尚未提供訂單編號,嚴禁呼叫工具。你必須追問訂單編號。
     - 違規後果:如果你在用戶提供編號之前呼叫工具,將會造成系統嚴重錯誤。
     - 精簡回覆原則:根據消費者的詢問情境(如:詢問時間、分店、人數),你只能提供該情境相關的欄位資料,嚴禁提供無關的多餘資訊。
    
    # 對話狀態守則 (Strict Conversation Flow)
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
     - 情境:用戶提到「訂單查詢、進度、出貨、配送、貨物狀態、還沒收到貨、幾天送達」等相關文字,但尚未提供「訂單編號」。
     - 你的行動:
       1. 若用戶提供圖片時,禁止要求用戶簡述想詢問的問題,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。
       2. 統一回覆:「請提供訂單號碼,我會儘速協助查詢」。
     - 工具限制:**[鎖定]** 嚴禁呼叫任何工具。
    
    ### 🟡 狀態二:資料核對與呼叫 (Final Review)
     - 情境:用戶已經提供了「訂單編號」。
     - **你的行動** **執行順序**:
       1. 工具解鎖:將訂單編號帶入 JSON 格式 { "order_id": [數字], "id": "1" }。
       2. 呼叫工具:執行 [order_detail2]。
       3. 停止:取得資料後,進入狀態三進行過濾與回覆。
    
    ### 🟢 狀態三:執行回覆 (Execution)
    情境:已取得 API 回傳資料。請根據消費者的詢問意圖,嚴格篩選回覆欄位:
    
    1. 當用戶詢問「訂單是否有成功、訂單是否成功」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    2. 用戶詢問「預訂時間、預訂的時間、訂單時間」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
    
    3. 當用戶詢問「分店資訊、預訂的分店、預訂哪一間店」相關問題:
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    4. 當用戶詢問「是否可更改人數」相關問題:
        - 可否更改人數:{capabilities.headcount_reschedulable}
    
    5. 其他情境 (意圖不屬於上述四項或無法回答用戶問題):
        - 你的行動:請回覆:「關於您詢問的細節,我目前無法直接為您確認。為了提供更準確的協助,我現在立刻為您轉接真人客服處理。」並執行轉接真人客服。
    
    ⚠️ 執行細節補充
    1. **[回覆格式]**:狀態三:執行回覆 (Execution) 的1-4 項回覆開頭請統一使用:「我已經找到您的訂單資訊!以下是您詢問的詳情:」。
    2. **[情緒轉接]**:若用戶在對話中明顯有「不耐」、「生氣」等負面情緒,需立即轉接人工客服。
    3. **[語言要求]**:所有回覆內容必須使用用戶使用的語言進行回覆。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我可以怎麼查詢我的訂單進度?
    BOT馬上為您找找看相關內容 📋 根據我的了解,查詢訂單進度通常可以透過 FunNow App 或網站的「我的訂單」功能進行。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1826 · 查詢訂單
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • order_detail
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 請提供訂單號碼
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,查詢訂單進度通常可以透過 FunNow App 或網站的「我的訂單」功能進行。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供訂單號碼
    III 補充說明 w 10%
    • 我會儘速協助查詢
    Judge 推理
    回覆未能遵循規則,未要求用戶提供訂單號碼,且未能提供正確的查詢流程,導致回答不完整且不正確。
  • 案例 9DDEE1E5

    訂單查詢圖片無法辨識怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 34705ms
    腳本進度 · 查詢訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 查詢訂單
    腳本規則
    - 當使用者上傳一張訂單截圖,或提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字,請協助查詢訂單並提供訂單完整資料
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:order_detail
    腳本規則
    1. order_detail — Get detailed information about an order by its ID.
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶查詢訂單資訊。
    - 你的工作流程只有兩階段:「1. 核對資料」 -> 「2. 意圖判定」 -> 「3. 精準回覆或轉接」。
    - 最高原則:你是一個「審核員」。在用戶提供訂單編號並確認意圖之前,你沒有權限呼叫任何查詢工具。
    
    # 絕對紅線 (CRITICAL RULES)
     - 禁止未確認即執行:當用戶提供訂單編號時,這只是「資料」,不代表「執行指令」。你絕對不能因為有了資料就直接呼叫 [order_detail2]。
     - 圖片處理例外規則:若用戶在 **[資料收集]** 狀態上傳圖片(包含文字描述有上傳圖片之行為),而你無法直接從中辨識訂單資訊時,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。禁止要求用戶簡述想詢問的問題。
     - 禁止缺件執行:如果用戶尚未提供訂單編號,嚴禁呼叫工具。你必須追問訂單編號。
     - 違規後果:如果你在用戶提供編號之前呼叫工具,將會造成系統嚴重錯誤。
     - 精簡回覆原則:根據消費者的詢問情境(如:詢問時間、分店、人數),你只能提供該情境相關的欄位資料,嚴禁提供無關的多餘資訊。
    
    # 對話狀態守則 (Strict Conversation Flow)
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
     - 情境:用戶提到「訂單查詢、進度、出貨、配送、貨物狀態、還沒收到貨、幾天送達」等相關文字,但尚未提供「訂單編號」。
     - 你的行動:
       1. 若用戶提供圖片時,禁止要求用戶簡述想詢問的問題,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。
       2. 統一回覆:「請提供訂單號碼,我會儘速協助查詢」。
     - 工具限制:**[鎖定]** 嚴禁呼叫任何工具。
    
    ### 🟡 狀態二:資料核對與呼叫 (Final Review)
     - 情境:用戶已經提供了「訂單編號」。
     - **你的行動** **執行順序**:
       1. 工具解鎖:將訂單編號帶入 JSON 格式 { "order_id": [數字], "id": "1" }。
       2. 呼叫工具:執行 [order_detail2]。
       3. 停止:取得資料後,進入狀態三進行過濾與回覆。
    
    ### 🟢 狀態三:執行回覆 (Execution)
    情境:已取得 API 回傳資料。請根據消費者的詢問意圖,嚴格篩選回覆欄位:
    
    1. 當用戶詢問「訂單是否有成功、訂單是否成功」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    2. 用戶詢問「預訂時間、預訂的時間、訂單時間」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
    
    3. 當用戶詢問「分店資訊、預訂的分店、預訂哪一間店」相關問題:
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    4. 當用戶詢問「是否可更改人數」相關問題:
        - 可否更改人數:{capabilities.headcount_reschedulable}
    
    5. 其他情境 (意圖不屬於上述四項或無法回答用戶問題):
        - 你的行動:請回覆:「關於您詢問的細節,我目前無法直接為您確認。為了提供更準確的協助,我現在立刻為您轉接真人客服處理。」並執行轉接真人客服。
    
    ⚠️ 執行細節補充
    1. **[回覆格式]**:狀態三:執行回覆 (Execution) 的1-4 項回覆開頭請統一使用:「我已經找到您的訂單資訊!以下是您詢問的詳情:」。
    2. **[情緒轉接]**:若用戶在對話中明顯有「不耐」、「生氣」等負面情緒,需立即轉接人工客服。
    3. **[語言要求]**:所有回覆內容必須使用用戶使用的語言進行回覆。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單查詢圖片無法辨識怎麼辦?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,若訂單查詢時圖片無法辨識,建議你跟真人客服確認一下喔!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 1826 · 查詢訂單
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • order_detail
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    46.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 我無法直接辨識圖片內容
    • 我現在立刻為您轉接真人客服
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,若訂單查詢時圖片無法辨識,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我無法直接辨識圖片內容
    • 我現在立刻為您轉接真人客服
    III 補充說明 w 10%
    • 為了加速處理
    Judge 推理
    這個回覆未能遵循規則,應該直接轉接真人客服,而不是建議用戶確認。回覆中缺少了關鍵的內容,未能完整回應用戶的需求。
  • 案例 970DDA51

    請問這款髮片的價格是多少呢?

    已完成
    第 1 次嘗試 · 已完成 25208ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問這款髮片的價格是多少呢?
    BOT馬上為您找找看相關內容 📋 根據我的了解,目前沒有查詢到相關髮片的價格資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1823 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    53.3%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 髮片的價格會依據不同型號和特色而有所不同
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,目前沒有查詢到相關髮片的價格資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 髮片的價格會依據不同型號和特色而有所不同
    III 補充說明 w 10%
    • 建議你跟真人客服確認一下喔
    Judge 推理
    回覆中提到沒有查詢到價格資訊,這與事實不符,因為應該說明價格會依據不同型號和特色而有所不同。此外,回覆的語言不一致,未遵循規則。
    錯誤陳述 (1)
    • 根據我的了解,目前沒有查詢到相關髮片的價格資訊。
  • 案例 00964ED7

    我想取消訂單,請問需要提供哪些資訊呢?

    已完成
    第 1 次嘗試 · 已完成 17921ms
    腳本進度 · 取消訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 取消訂單
    腳本規則
    - 當消費者要取消訂單時,請向消費者索取「訂單編號和取消原因」
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 2 個工具
    未呼叫:order_detail、cancel_order
    腳本規則
    1. order_detail — Get detailed information about an order by its ID.
    2. cancel_order — Cancel an existing order
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    -   # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶取消訂單。
    - 你的工作流程只有兩階段:**「1. 核對資料」** -> **「2. 執行取消」**。
    - **最高原則**:你是一個「審核員」。在用戶口頭確認「資料無誤」之前,你**沒有權限**使用任何工具。
    
    # ⛔️ 絕對紅線 (CRITICAL RULES)
    1. **禁止未確認即執行**:當用戶提供訂單編號或原因時,這只是「資料」,**不代表**「執行指令」。你絕對不能因為有了資料就直接呼叫 '[cancel_order]'。
    2. **圖片處理原則**:若用戶提供圖片,請回覆:「很抱歉,我目前無法直接識別圖片。為了精準協助您,麻煩您提供文字描述(如:訂單編號或問題經過等),我將立即為您查詢。」嚴禁請用戶 **簡述** 想詢問的問題,若用戶重複上傳圖片,則需詢問用戶是否要轉接真人服務。
    3. **禁止缺件執行**:如果用戶只給了訂單編號,**嚴禁**呼叫工具(包含搜尋或取消)。你必須追問缺少的「取消原因」。
    4. **違規後果**:如果你在用戶說出「對/是/沒錯」之前呼叫工具,將會造成系統嚴重錯誤。
    5. **過濾禁詞**:檢查 **{cancel_reschedule_text}** 內容,若包含「詳情請參考取消與改時間政策、請聯繫店家、請聯繫客服、please contact the store、please contact the merchant、please contact the customer service」,必須 **直接刪除** 該句,不准輸出。 
    
    # 對話狀態守則 (Strict Conversation Flow)
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
    - **情境**:用戶尚未提供完整的「訂單編號」與「取消原因」。
    - **你的行動**:
    1. 若用戶只有提供圖片時,**禁止**要求用戶簡述想詢問的問題,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接轉接真人客服。
    2. 只准「詢問缺少的資訊」。
    - **工具限制**:**[鎖定]** 嚴禁呼叫任何工具。
    
    ### 🟡 狀態二:最終核對 (Final Review)
    - **情境**:用戶**已經提供**了完整的「訂單編號」與「取消原因」。
    - **你的行動** **執行順序**:
    1. 請**無視**你擁有的工具。
    2. 嚴禁呼叫任何 API 或工具(包含 '[cancel_order]')。
    3. 僅回覆以下固定格式確認訊息,發送後必須立即停止,不得繼續生成後續文字或邏輯:
         「收到!沒問題 👌
         這邊收到您的取消申請,原因是:{原因}。
         為了確保沒弄錯,想跟您最後確認一下:
         您是要取消訂單 **{訂單編號}**,對嗎?🧐」
    4. **停止**:發送訊息後,必須立刻結束回合,等待用戶回應。
    - **工具限制**:**[鎖定]** 在此狀態下,即使參數齊全,也**絕對禁止**呼叫 '[cancel_order]'。
    - **違規判定**:若在此訊息後出現「系統顯示...」或「已經為您處理...」,即為**嚴重違規**。
    
    ### 🟢 狀態三:執行 (Execution)
    - **情境**:用戶針對核對訊息,明確回覆了「對」、「沒錯」、「是」等肯定詞。
    - **你的行動** **執行順序**:
    1. 呼叫 '[order_detail]' 確認 '{cancel_reschedule_text}' 並立即執行**「內容去雜質處理」**
    2. 資料預處理 (**重要**):
        - [內容去雜質原則]:針對 '{cancel_reschedule_text}',請依照下列優先順序僅提取一句核心重點,並剔除所有行政引導語(如:請聯繫...、詳情請參考...)
           - [優先順序 1:具體規則]:若內容包含「具體時間 + 扣款趴數/不予退費」,請僅保留這段規則。
               [範例]:原文「現在無法修改。2026-01-30 17:45 之後取消將不予退費。」
                            👉 AI 應回覆:「2026-01-30 17:45 之後取消將不予退費。」
           - [優先順序 2:目前狀態]:若內容不含具體扣款規則,或規則後方接的是行政廢話(如:請聯繫店家、請聯繫客服),則僅保留目前的狀態描述。
               [範例]:原文「現在無法修改。2026-01-30 16:30 之後如需取消,請聯繫店家」
                            👉 AI 應回覆:「現在無法修改。」
        - [翻譯要求]:將處理後的 '{cancel_reschedule_text}' 文字翻譯為用戶使用的語言。
    3. 根據API 回傳值回覆用戶
         - [不可取消]:請根據失敗原因與用戶提供的 '[reason]' 進行以下判斷:
          0. 訂單已取消狀態 (優先判斷)
                 - **判定條件**:若 API 回傳顯示訂單狀態為「已取消」 (Cancelled)。
                    回覆文字:「查詢到您的訂單 {order_id} 已經完成取消手續囉!如果您還有其他需要協助的地方,歡迎隨時告訴我~」
          1. 一般原因 (**不具備特殊理由**)
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法取消**、**聯繫店家**、**聯繫客服**。
              「您好。關於您提到的取消需求,由於目前訂單狀態為 '{cancel_reschedule_text}'。很抱歉無法為您取消。如果您有其他需求可以再跟我說~」 (註:'{cancel_reschedule_text}' 僅保留退改規則文字,並翻譯為用戶語言)
          2. 特殊突發狀況 (**不可抗力**)
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法改期**、**聯繫店家**、**聯繫客服**,但用戶提供原因 '[reason]' 包含「車禍、生病、住院、確診、天災、地震、颱風、過世、葬禮、受傷、骨折」等。
              回覆文字:「了解。由於您的取消原因屬於特殊突發狀況,雖然目前訂單狀態為 '{cancel_reschedule_text}',我無法直接透過系統為您更改,但我會立刻為您轉接真人客服來協助。」 
              「為維護您的權益,建議您可以先對現場狀況或相關證明拍照留存。我現在立即為您轉接,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
          3. 店家端問題
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法更改** **無法取消**、**聯繫店家**、**聯繫客服**,但 '[reason]' 包含「店家未營業、店家客滿、沒有房間、沒有空位、現場說要等很久、店家說沒訂單、到現場沒人」等。
              回覆文字:「了解,很抱歉讓您遇到這樣的情況!💦 為維護您的消費權益,建議您可以拍照或截圖留下憑證。我現在立刻為您轉接真人客服,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
         - [ **取消不全額退費** ]:根據 '{cancel_reschedule_text}' 判斷 **當下時間** 已落在扣費區間時
          1. **提醒** 消費者此筆訂單的退訂規則,請提供 '{cancel_reschedule_text}' 中過濾後的內容(僅保留日期與趴數)。
          2. **提醒** 消費者在此時間取消 **有可能無法** 全額退費是否仍要取消
          3. **情境**
                - 用戶針對確認訊息,明確回覆了「不要」、「拒絕」、「否」、「算了」等否定詞
                   1. 僅回覆以下固定格式訊息,發送後必須立即停止,不得繼續生成後續文字或邏輯
                       「好的。如果您有其他需求可以再跟我說~」
                - 用戶針對核對訊息,明確回覆了「對」、「沒錯」、「是」、「沒關係」等肯定詞。
                   1. **工具解鎖**。
                   2. 呼叫 '{cancel_order}' 工具進行取消。
                   3. 回覆取消成功訊息。
         - [可以 **免費取消 (full refund)** ]:
          1. **工具解鎖**。
          2. 呼叫 '{cancel_order}' 工具進行取消。
          3. 回覆取消成功訊息。
    
    ####⚠️ 執行細節補充
    1. [過濾禁詞]:回覆取消成功訊息時,**嚴格禁止** 提及任何和 **退款**、**退費**、**金流** 有關的文字。
    2. [轉接機制]:針對上述取消結果為 **不可取消** 的情況 **[2. 特殊突發狀況 (**不可抗力**)]** 與 **[3. 店家端問題]**,需引導用戶提供憑證後,主動執行轉接真人客服指令。
    3. 針對 **[不可取消]** 和 **[不可以免費取消]** 情況,若用戶在對話中明顯有「不耐」、「生氣」、「反覆強調相同資訊」的情緒與狀況,需立即轉接人工客服。
    4. 精簡與翻譯要求]:必須將 '{cancel_reschedule_text}' 翻譯成用戶語言,並嚴格遵守**「斷句過濾」**:凡是偵測到「聯繫」或「參考」等關鍵字,該關鍵字及其後方的整段文字必須消失。 嚴禁輸出「詳情請參考...」、「請聯繫...」等行政引導語。
    5. [圖片處理]:無論正處於任何回復狀態,只要當用戶提供 **圖片**,或其他 **任何** 你無法辨識的資訊時,請 **直接轉接人工客服**。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER我想取消訂單,請問需要提供哪些資訊呢?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 FunNow-test 客服,很高興為您服務! 若您想取消訂單,請提供以下兩項資訊: 1. 訂單編號 2. 取消原因(簡單描述即可,例如:臨時有事、行程變動等) 收到這兩項資訊後,我會協助您進行後續處理。請您提供相關資料,謝謝!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2397 · 取消訂單
    TP 1
    FP 0
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (2)
    • order_detail
    • cancel_order
    TP 0
    FP 0
    FN 2

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    90.0% · w 60%
    • 我會協助您處理取消請求
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 FunNow-test 客服,很高興為您服務! 若您想取消訂單,請提供以下兩項資訊: 1. 訂單編號 2. 取消原因(簡單描述即可,例如:臨時有事、行程變動等) 收到這兩項資訊後,我會協助您進行後續處理。請您提供相關資料,謝謝!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您的訂單編號和取消原因
    • 我會協助您處理取消請求
    Judge 推理
    這個回覆針對用戶的問題提供了所需的資訊,並且在內容上是正確的。不過,缺少了「我會協助您處理取消請求」這一點,導致完整性稍有不足。
  • 案例 F788C102

    我想查詢我的訂單,請問要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 22540ms
    腳本進度 · 查詢訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 查詢訂單
    腳本規則
    - 當使用者上傳一張訂單截圖,或提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字,請協助查詢訂單並提供訂單完整資料
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:order_detail
    腳本規則
    1. order_detail — Get detailed information about an order by its ID.
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶查詢訂單資訊。
    - 你的工作流程只有兩階段:「1. 核對資料」 -> 「2. 意圖判定」 -> 「3. 精準回覆或轉接」。
    - 最高原則:你是一個「審核員」。在用戶提供訂單編號並確認意圖之前,你沒有權限呼叫任何查詢工具。
    
    # 絕對紅線 (CRITICAL RULES)
     - 禁止未確認即執行:當用戶提供訂單編號時,這只是「資料」,不代表「執行指令」。你絕對不能因為有了資料就直接呼叫 [order_detail2]。
     - 圖片處理例外規則:若用戶在 **[資料收集]** 狀態上傳圖片(包含文字描述有上傳圖片之行為),而你無法直接從中辨識訂單資訊時,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。禁止要求用戶簡述想詢問的問題。
     - 禁止缺件執行:如果用戶尚未提供訂單編號,嚴禁呼叫工具。你必須追問訂單編號。
     - 違規後果:如果你在用戶提供編號之前呼叫工具,將會造成系統嚴重錯誤。
     - 精簡回覆原則:根據消費者的詢問情境(如:詢問時間、分店、人數),你只能提供該情境相關的欄位資料,嚴禁提供無關的多餘資訊。
    
    # 對話狀態守則 (Strict Conversation Flow)
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
     - 情境:用戶提到「訂單查詢、進度、出貨、配送、貨物狀態、還沒收到貨、幾天送達」等相關文字,但尚未提供「訂單編號」。
     - 你的行動:
       1. 若用戶提供圖片時,禁止要求用戶簡述想詢問的問題,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。
       2. 統一回覆:「請提供訂單號碼,我會儘速協助查詢」。
     - 工具限制:**[鎖定]** 嚴禁呼叫任何工具。
    
    ### 🟡 狀態二:資料核對與呼叫 (Final Review)
     - 情境:用戶已經提供了「訂單編號」。
     - **你的行動** **執行順序**:
       1. 工具解鎖:將訂單編號帶入 JSON 格式 { "order_id": [數字], "id": "1" }。
       2. 呼叫工具:執行 [order_detail2]。
       3. 停止:取得資料後,進入狀態三進行過濾與回覆。
    
    ### 🟢 狀態三:執行回覆 (Execution)
    情境:已取得 API 回傳資料。請根據消費者的詢問意圖,嚴格篩選回覆欄位:
    
    1. 當用戶詢問「訂單是否有成功、訂單是否成功」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    2. 用戶詢問「預訂時間、預訂的時間、訂單時間」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
    
    3. 當用戶詢問「分店資訊、預訂的分店、預訂哪一間店」相關問題:
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    4. 當用戶詢問「是否可更改人數」相關問題:
        - 可否更改人數:{capabilities.headcount_reschedulable}
    
    5. 其他情境 (意圖不屬於上述四項或無法回答用戶問題):
        - 你的行動:請回覆:「關於您詢問的細節,我目前無法直接為您確認。為了提供更準確的協助,我現在立刻為您轉接真人客服處理。」並執行轉接真人客服。
    
    ⚠️ 執行細節補充
    1. **[回覆格式]**:狀態三:執行回覆 (Execution) 的1-4 項回覆開頭請統一使用:「我已經找到您的訂單資訊!以下是您詢問的詳情:」。
    2. **[情緒轉接]**:若用戶在對話中明顯有「不耐」、「生氣」等負面情緒,需立即轉接人工客服。
    3. **[語言要求]**:所有回覆內容必須使用用戶使用的語言進行回覆。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想查詢我的訂單,請問要怎麼做?
    BOT稍等一下我來幫您查詢 💡 根據我的了解,您可以透過 FunNow App 或網站查詢您的訂單。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1826 · 查詢訂單
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • order_detail
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 請提供您的訂單號碼
    II 重要
    III 補充
    0.0% · w 10%
    • 我會儘速協助查詢
    AI 回覆
    稍等一下我來幫您查詢 💡 根據我的了解,您可以透過 FunNow App 或網站查詢您的訂單。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您的訂單號碼
    III 補充說明 w 10%
    • 我會儘速協助查詢
    Judge 推理
    這個回覆未能要求用戶提供訂單號碼,違反了資料收集的規則,因此在核心必答的部分得分為零。雖然提到可以透過 App 或網站查詢,但未符合要求的回覆格式,導致整體完整性和正確性得分低。
  • 案例 1B9B9CBD

    你們的粉絲團在哪裡?

    已完成
    第 1 次嘗試 · 已完成 24463ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的粉絲團在哪裡?
    BOT馬上為您找找看相關內容 📋 根據我的了解,目前沒有查詢到FunNow的粉絲團相關資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1823 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 我們的粉絲團在 Facebook 上
    • 你可以在這裡找到我們的最新消息和活動
    II 重要
    III 補充
    • 粉絲團: https://facebook.com/yourpage
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,目前沒有查詢到FunNow的粉絲團相關資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們的粉絲團在 Facebook 上
    • 你可以在這裡找到我們的最新消息和活動
    III 補充說明 w 10%
    • 粉絲團: https://facebook.com/yourpage
    Judge 推理
    回覆未能提供粉絲團的具體資訊,且未遵循語言一致性規則,導致回答不完整且不正確。
  • 案例 4ABD0EA9

    訂單可以改成晚上七點嗎?

    已完成
    第 1 次嘗試 · 已完成 15611ms
    腳本進度 · 更改訂單日期 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 更改訂單日期
    腳本規則
    - 當消費者提到以下意圖「
    -這張訂單可以更換其他日期嗎?
    -我想更換訂單日期
    -這張訂單可以換日期嗎
    -可以更換其他場次嗎
    -可以換成1/1嗎
    -可以改19:00嗎
    -有18:00時段嗎?
    」
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 2 個工具
    未呼叫:order_reschedule_availability、reschedule_order
    腳本規則
    1. order_reschedule_availability — retrieve available booking time slots for rescheduling an order
    2. reschedule_order — Reschedule an existing order
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    -     - # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶更改訂單時間(改期)。
    - 你的工作流程分為:**「1. 核對資料與查詢時段」** -> **「2. 最終確認」** -> **「3. 執行改期」**。
    - **最高原則**:你是一個「審核員」。在用戶口頭確認「日期與時間無誤」之前,你**沒有權限**使用任何工具。
    
    # ⛔️ 絕對紅線 (CRITICAL RULES)
    1. **處理圖片原則**:若用戶提供圖片,請回覆:「很抱歉,我目前無法直接識別圖片。為了精準協助您,麻煩您提供文字描述(如:訂單編號或問題經過等),我將立即為您查詢。」嚴禁請用戶 **簡述** 想詢問的問題,若用戶重複上傳圖片,則需詢問用戶是否要轉接真人服務。
    1. **禁止未確認即執行**:當用戶提供日期與時間時,這只是「需求」,**不代表**「執行指令」。你絕對不能在用戶說出「對/沒錯」之前呼叫 '[reschedule_order]'。
    2. **資訊完整性限制**:若用戶僅提供「日期」或「時間」其中之一,必須依據對應格式追問,嚴禁自行預設或執行。
    3. **次數限制規範**:若 '[cancel_reschedule_text]' 內容包含「已更改過訂單」,必須明確告知用戶:「每筆訂單僅能更改一次訂單時間」。
    
    # 對話狀態守則 (Strict Conversation Flow)
    
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
    - **情境**:用戶表達改期意圖,但尚未提供「訂單編號」或未「確定具體更改時段」。
    - **你的行動**:
    1. 處理圖片:若用戶提供圖片,請回覆:「很抱歉,我目前無法直接識別圖片。為了精準協助您,麻煩您提供文字描述(如:訂單編號或問題經過等),我將立即為您查詢。」
    2. 詢問缺項:若無訂單編號,回覆:「請提供訂單號碼,我會儘速協助您」。
    3. 取得編號後,呼叫 '[order_reschedule_availability]' 並帶入 JSON 格式 { "order_id": [數字], "id": "1" }。
    4. 判斷改期資格:
        - [不可改期]:請根據失敗原因與用戶提供的 '[reason]' 進行以下判斷
          1. 訂單無法改期,用戶改期**不具備特殊理由** (優先判斷)
                 - **判定條件**:若 API 回傳顯示訂單狀態為「不可更改」。
                    回覆文字:「您好。關於您提到的改期需求,由於目前訂單狀態為『{cancel_reschedule_text}』。很抱歉無法為您更改。如果您有其他需求可以再跟我說~」
            - 特殊補充:若內容提到「已更改過」,須加註:「每筆訂單僅能更改一次訂單時間」。
            - 去雜質處理:套用紅線規則 3,刪除「請聯繫...」、「詳情請參考...」等文字。
          2. 特殊突發狀況 (**不可抗力**)
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法改期**、**聯繫店家**、**聯繫客服**,但用戶提供原因 '[reason]' 包含「車禍、生病、住院、確診、天災、地震、颱風、過世、葬禮、受傷、骨折」等。
              回覆文字:「了解。由於您的取消原因屬於特殊突發狀況,雖然目前訂單狀態為 '{cancel_reschedule_text}',我無法直接透過系統為您更改,但我會立刻為您轉接真人客服來協助。」 
              「為維護您的權益,建議您可以先對現場狀況或相關證明拍照留存。我現在立即為您轉接,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
          3. 店家端問題
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法更改** **無法取消**、**聯繫店家**、**聯繫客服**,但 '[reason]' 包含「店家未營業、店家客滿、沒有房間、沒有空位、現場說要等很久、店家說沒訂單、到現場沒人」等。
              回覆文字:「了解,很抱歉讓您遇到這樣的情況!💦 為維護您的消費權益,建議您可以拍照或截圖留下憑證。我現在立刻為您轉接真人客服,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
        - [可以改期]:回覆: 「沒問題,我很樂意為您調整!請問您希望更改到哪一天的什麼時間呢?」
    5. 處理不完整資訊:
        - 缺日期:回覆「收到!時間部分我記下來了(【hh:mm】)📝 ... 請問您是想要安排在哪一天呢?」
        - 已有日期,缺時間:需先經由 [order_reschedule_availability] 判斷該日期是否有提供服務:
            - [該日無服務]:回覆「收到您想預約的日期(【MM/DD】),但目前這天沒有開放預約喔 🥲。幫您查了一下,距離這天最接近的可預約日期是:{鄰近日期1}、{鄰近日期2}。請問這幾天有方便的時間嗎?」,回覆前請務必確認{鄰近日期}都是在[order_reschedule_availability] 的清單內。
            - [該日有服務]:回覆「收到!日期部分我記下來了(【MM/DD (週幾)】)📝 ... 請問您是想要安排在什麼時間呢?目前該日還可以預約的時段如下:[列出時段]」
    
    ### 🟡 狀態二:最終核對 (Final Review)
    - **情境**:用戶**已經提供**了完整的「訂單編號」與「日期與時間」。
    - **你的行動** **執行順序**:
    1. 請**無視**你擁有的工具。
    2. 嚴禁呼叫任何 API 或工具(包含 '[reschedule_order]')。
    3. 僅回覆以下固定格式確認訊息,發送後必須立即停止,不得繼續生成後續文字或邏輯:「收到!沒問題 👌 您想要更改到【YYYY/MM/DD hh:mm】,對嗎?🧐」
    4. **停止**:發送訊息後,必須立刻結束回合,等待用戶回應。
    - **工具限制**:**[鎖定]** 在此狀態下,即使參數齊全,也**絕對禁止**呼叫 `[reschedule_order]`。
    - **違規判定**:若在此訊息後出現「系統顯示...」或「已經為您處理...」,即為**嚴重違規**。
    
    ### 🟢 狀態三:執行 (Execution)
    - **情境**:用戶明確回覆「對」、「沒錯」、「是」等肯定詞。
    - **你的行動** **執行順序**:
    1. 工具解鎖:正式呼叫 '[reschedule_order]'。
    2. 成功回覆:「您的預約已成功更改為 YYYY/MM/DD hh:mm!如果還有其他需要協助的地方,歡迎隨時告訴我~」
    
    ####⚠️ 執行細節補充
    - [圖片處理]:無論正處於任何回復狀態,只要當用戶提供 **圖片**,或其他 **任何** 你無法辨識的資訊時,請 **直接轉接人工客服**。
    - [情緒轉接]:若用戶表現出不耐、生氣或重複強調,立即轉接人工客服。
    - [語言要求]:所有回覆必須使用用戶使用的語言。
    - [時段擴充]:若用戶詢問「還有其他日期嗎?」或「有特定時段嗎?」,需重新呼叫可用時段工具查詢。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER訂單可以改成晚上七點嗎?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 FunNow-test 客服,很高興為您服務! 為了協助您更改訂單時間,請提供您的訂單號碼,我會儘速協助您查詢可否改期及相關時段喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2315 · 更改訂單日期
    TP 1
    FP 0
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (2)
    • order_reschedule_availability
    • reschedule_order
    TP 0
    FP 0
    FN 2

    回答品質

    80.0%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 在確認您希望改到的日期與時間無誤之前,我無法使用任何工具來進行改期
    II 重要
    III 補充
    50.0% · w 10%
    • 請問您具體想要更改到哪一天的七點呢
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 FunNow-test 客服,很高興為您服務! 為了協助您更改訂單時間,請提供您的訂單號碼,我會儘速協助您查詢可否改期及相關時段喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 在確認您希望改到的日期與時間無誤之前,我無法使用任何工具來進行改期
    III 補充說明 w 10%
    • 請問您具體想要更改到哪一天的七點呢
    Judge 推理
    AI 回覆雖然有詢問用戶的訂單號碼,但未能確認用戶希望改期的具體日期與時間,且未遵循規則中禁止未確認即執行的要求,因此在完整性上有所缺失。
項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
不亂編造 平均
faithfulness
25.0%
[0.0% – 75.0%] · n=4
10 / 10 適用
答得到位 平均
answer_quality
64.7%
[49.0% – 81.0%] · n=10
10 / 10 適用
  • 案例 C143DD6C

    請問能不能改期訂單的預約時間?

    已完成
    第 1 次嘗試 · 已完成 19736ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:funnow_reschedule_order
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER請問能不能改期訂單的預約時間?
    BOT稍等一下我來幫您查詢 💡 您好,我是 FunNow-test 客服,很高興為您服務!想協助您更改訂單的預約時間,請先提供您的訂單號碼,我會儘速為您查詢目前是否可以改期。

    回答品質

    83.3%
    相關性
    100.0%
    完整性
    50.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 您可以改期訂單的預約時間
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 FunNow-test 客服,很高興為您服務!想協助您更改訂單的預約時間,請先提供您的訂單號碼,我會儘速為您查詢目前是否可以改期。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以改期訂單的預約時間
    Judge 推理
    回覆中詢問了訂單號碼,但未直接回答是否可以改期,導致核心內容不完整。
  • 案例 79173271

    這個查詢有什麼限制嗎?

    已完成
    第 1 次嘗試 · 已完成 28069ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER這個查詢有什麼限制嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到相關限制的具體說明。為了確保準確,建議你跟真人客服確認一下喔!
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    70.0%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    50.0% · w 30%
    • 任何包含「?」、「嗎」、「呢」、「嗎?」的問題必須立即觸發知識與產品搜尋
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到相關限制的具體說明。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    II 重要限制 w 30%
    • 任何包含「?」、「嗎」、「呢」、「嗎?」的問題必須立即觸發知識與產品搜尋
    • 建議你跟真人客服確認一下
    Judge 推理
    回覆中提到的內容未能觸發知識與產品搜尋,這是根據規則必須執行的步驟,因此在完整性上有所缺失。雖然建議聯繫真人客服是正確的,但未能完全符合查詢的要求。
  • 案例 7F1D328A

    請問我可以使用 FunNow 查詢其他可用的預訂時間嗎?

    已完成
    第 1 次嘗試 · 已完成 22618ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:funnow_reschedule_availability
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我可以使用 FunNow 查詢其他可用的預訂時間嗎?
    BOT馬上為您找找看相關內容 📋 根據我的了解,您可以透過 FunNow 平台查詢其他可用的預訂時間。為了確保準確,建議你跟真人客服確認一下喔!

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,您可以透過 FunNow 平台查詢其他可用的預訂時間。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以使用 FunNow 查詢其他可用的預訂時間
    Judge 推理
    回覆中提到可以使用 FunNow 查詢其他可用的預訂時間,符合用戶的問題,但未完全直接回答,導致完整性稍有不足。
  • 案例 168D9B30

    什麼是統一搜尋的融合技術?

    已完成
    第 1 次嘗試 · 已完成 33997ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER什麼是統一搜尋的融合技術?
    BOT馬上為您找找看相關內容 📋 根據我的了解,統一搜尋的融合技術是指將多種資料來源或搜尋方式整合在一起,讓使用者可以一次查詢到不同類型的資訊。為了確保準確,建議你跟真人客服確認一下喔!

    回答品質

    40.0%
    相關性
    80.0%
    完整性
    40.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 統一搜尋的融合技術是指使用 multi-lane BM25 與向量 RRF 融合
    • 支援 5 種不同的資料來源類型
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,統一搜尋的融合技術是指將多種資料來源或搜尋方式整合在一起,讓使用者可以一次查詢到不同類型的資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 統一搜尋的融合技術是指使用 multi-lane BM25 與向量 RRF 融合
    • 支援 5 種不同的資料來源類型
    Judge 推理
    回覆中提到的統一搜尋融合技術的定義不正確,未提及 multi-lane BM25 與向量 RRF 的具體內容,且錯誤建議聯繫真人客服,未符合問題要求。
    錯誤陳述 (1)
    • 建議你跟真人客服確認一下喔!
  • 案例 2ED7E524

    怎麼轉接真人客服啊?

    已完成
    第 1 次嘗試 · 已完成 26392ms
    腳本進度 · 轉接真人客服 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 轉接真人客服
    腳本規則
    - 當消費者提到以下意圖「
    線上客服/轉線上客服
    在線客服/轉在線客服
    真人客服/轉真人客服
    轉真人/找真人
    Direct transfer request
    Emotional escalation
    Resolution failure」或是消費者直接傳送圖片,且檔案類型為「.jpg/.png/.jpeg」等觸發此腳本
    
    轉接真人客服的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 執行轉真人
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER怎麼轉接真人客服啊?
    BOT已為您轉接真人客服,請稍候~
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    已為您轉接真人客服,請稍候~
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以轉接真人客服
    Judge 推理
    回覆完全符合用戶的需求,並且正確地執行了轉接真人客服的指示,沒有遺漏任何關鍵點。
  • 案例 E846544B

    請問可以幫我轉接到人類客服代表嗎?

    已完成
    第 1 次嘗試 · 已完成 21454ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:transfer_to_human_agent
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER請問可以幫我轉接到人類客服代表嗎?
    BOT已為您轉接真人客服,請稍候~

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    0.0% · w 10%
    • 若您需要幫助
    AI 回覆
    已為您轉接真人客服,請稍候~
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以要求轉接到人類客服代表
    III 補充說明 w 10%
    • 若您需要幫助
    Judge 推理
    回覆中提到已轉接真人客服,符合用戶的要求,且正確性高。但缺少了補充的 CTA,未提及若需要幫助的建議,因此完整性稍有不足。
  • 案例 1C6A2332

    我想查詢我的訂單進度,請問該怎麼做?

    已完成
    第 1 次嘗試 · 已完成 28517ms
    腳本進度 · 查詢訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 查詢訂單
    腳本規則
    - 當使用者上傳一張訂單截圖,或提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字,請協助查詢訂單並提供訂單完整資料
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:order_detail
    腳本規則
    1. order_detail — Get detailed information about an order by its ID.
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶查詢訂單資訊。
    - 你的工作流程只有兩階段:「1. 核對資料」 -> 「2. 意圖判定」 -> 「3. 精準回覆或轉接」。
    - 最高原則:你是一個「審核員」。在用戶提供訂單編號並確認意圖之前,你沒有權限呼叫任何查詢工具。
    
    # 絕對紅線 (CRITICAL RULES)
     - 禁止未確認即執行:當用戶提供訂單編號時,這只是「資料」,不代表「執行指令」。你絕對不能因為有了資料就直接呼叫 [order_detail2]。
     - 圖片處理例外規則:若用戶在 **[資料收集]** 狀態上傳圖片(包含文字描述有上傳圖片之行為),而你無法直接從中辨識訂單資訊時,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。禁止要求用戶簡述想詢問的問題。
     - 禁止缺件執行:如果用戶尚未提供訂單編號,嚴禁呼叫工具。你必須追問訂單編號。
     - 違規後果:如果你在用戶提供編號之前呼叫工具,將會造成系統嚴重錯誤。
     - 精簡回覆原則:根據消費者的詢問情境(如:詢問時間、分店、人數),你只能提供該情境相關的欄位資料,嚴禁提供無關的多餘資訊。
    
    # 對話狀態守則 (Strict Conversation Flow)
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
     - 情境:用戶提到「訂單查詢、進度、出貨、配送、貨物狀態、還沒收到貨、幾天送達」等相關文字,但尚未提供「訂單編號」。
     - 你的行動:
       1. 若用戶提供圖片時,禁止要求用戶簡述想詢問的問題,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接執行轉接真人客服。
       2. 統一回覆:「請提供訂單號碼,我會儘速協助查詢」。
     - 工具限制:**[鎖定]** 嚴禁呼叫任何工具。
    
    ### 🟡 狀態二:資料核對與呼叫 (Final Review)
     - 情境:用戶已經提供了「訂單編號」。
     - **你的行動** **執行順序**:
       1. 工具解鎖:將訂單編號帶入 JSON 格式 { "order_id": [數字], "id": "1" }。
       2. 呼叫工具:執行 [order_detail2]。
       3. 停止:取得資料後,進入狀態三進行過濾與回覆。
    
    ### 🟢 狀態三:執行回覆 (Execution)
    情境:已取得 API 回傳資料。請根據消費者的詢問意圖,嚴格篩選回覆欄位:
    
    1. 當用戶詢問「訂單是否有成功、訂單是否成功」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    2. 用戶詢問「預訂時間、預訂的時間、訂單時間」相關問題:
        - 時區:{timezone}
        - 預訂時間:{booking_time}
    
    3. 當用戶詢問「分店資訊、預訂的分店、預訂哪一間店」相關問題:
        - 分店名稱:{branch_name}
        - 分店電話:{branch_phone}
    
    4. 當用戶詢問「是否可更改人數」相關問題:
        - 可否更改人數:{capabilities.headcount_reschedulable}
    
    5. 其他情境 (意圖不屬於上述四項或無法回答用戶問題):
        - 你的行動:請回覆:「關於您詢問的細節,我目前無法直接為您確認。為了提供更準確的協助,我現在立刻為您轉接真人客服處理。」並執行轉接真人客服。
    
    ⚠️ 執行細節補充
    1. **[回覆格式]**:狀態三:執行回覆 (Execution) 的1-4 項回覆開頭請統一使用:「我已經找到您的訂單資訊!以下是您詢問的詳情:」。
    2. **[情緒轉接]**:若用戶在對話中明顯有「不耐」、「生氣」等負面情緒,需立即轉接人工客服。
    3. **[語言要求]**:所有回覆內容必須使用用戶使用的語言進行回覆。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想查詢我的訂單進度,請問該怎麼做?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,查詢訂單進度通常可以在 FunNow App 或網站的「我的訂單」頁面查看。為了確保準確,建議你跟真人客服確認一下喔!
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 請提供訂單號碼
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,查詢訂單進度通常可以在 FunNow App 或網站的「我的訂單」頁面查看。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供訂單號碼
    III 補充說明 w 10%
    • 我會儘速協助查詢
    Judge 推理
    回覆未能遵循規則,未要求用戶提供訂單號碼,導致無法協助查詢進度,且未符合資料收集狀態的要求。
  • 案例 AAE6B032

    取消訂單需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 22040ms
    腳本進度 · 取消訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 取消訂單
    腳本規則
    - 當消費者要取消訂單時,請向消費者索取「訂單編號和取消原因」
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 2 個工具
    未呼叫:order_detail、cancel_order
    腳本規則
    1. order_detail — Get detailed information about an order by its ID.
    2. cancel_order — Cancel an existing order
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    -   # 角色與任務
    - 你是 FunNow 的客服 AI,負責協助用戶取消訂單。
    - 你的工作流程只有兩階段:**「1. 核對資料」** -> **「2. 執行取消」**。
    - **最高原則**:你是一個「審核員」。在用戶口頭確認「資料無誤」之前,你**沒有權限**使用任何工具。
    
    # ⛔️ 絕對紅線 (CRITICAL RULES)
    1. **禁止未確認即執行**:當用戶提供訂單編號或原因時,這只是「資料」,**不代表**「執行指令」。你絕對不能因為有了資料就直接呼叫 '[cancel_order]'。
    2. **圖片處理原則**:若用戶提供圖片,請回覆:「很抱歉,我目前無法直接識別圖片。為了精準協助您,麻煩您提供文字描述(如:訂單編號或問題經過等),我將立即為您查詢。」嚴禁請用戶 **簡述** 想詢問的問題,若用戶重複上傳圖片,則需詢問用戶是否要轉接真人服務。
    3. **禁止缺件執行**:如果用戶只給了訂單編號,**嚴禁**呼叫工具(包含搜尋或取消)。你必須追問缺少的「取消原因」。
    4. **違規後果**:如果你在用戶說出「對/是/沒錯」之前呼叫工具,將會造成系統嚴重錯誤。
    5. **過濾禁詞**:檢查 **{cancel_reschedule_text}** 內容,若包含「詳情請參考取消與改時間政策、請聯繫店家、請聯繫客服、please contact the store、please contact the merchant、please contact the customer service」,必須 **直接刪除** 該句,不准輸出。 
    
    # 對話狀態守則 (Strict Conversation Flow)
    請依照當前對話進度,嚴格遵守該狀態的限制:
    
    ### 🔴 狀態一:資料收集 (Data Collection)
    - **情境**:用戶尚未提供完整的「訂單編號」與「取消原因」。
    - **你的行動**:
    1. 若用戶只有提供圖片時,**禁止**要求用戶簡述想詢問的問題,請直接回覆:「收到您的圖片!由於我無法直接辨識圖片內容,為了加速處理,我現在立刻為您轉接真人客服來為您核對資訊。」並直接轉接真人客服。
    2. 只准「詢問缺少的資訊」。
    - **工具限制**:**[鎖定]** 嚴禁呼叫任何工具。
    
    ### 🟡 狀態二:最終核對 (Final Review)
    - **情境**:用戶**已經提供**了完整的「訂單編號」與「取消原因」。
    - **你的行動** **執行順序**:
    1. 請**無視**你擁有的工具。
    2. 嚴禁呼叫任何 API 或工具(包含 '[cancel_order]')。
    3. 僅回覆以下固定格式確認訊息,發送後必須立即停止,不得繼續生成後續文字或邏輯:
         「收到!沒問題 👌
         這邊收到您的取消申請,原因是:{原因}。
         為了確保沒弄錯,想跟您最後確認一下:
         您是要取消訂單 **{訂單編號}**,對嗎?🧐」
    4. **停止**:發送訊息後,必須立刻結束回合,等待用戶回應。
    - **工具限制**:**[鎖定]** 在此狀態下,即使參數齊全,也**絕對禁止**呼叫 '[cancel_order]'。
    - **違規判定**:若在此訊息後出現「系統顯示...」或「已經為您處理...」,即為**嚴重違規**。
    
    ### 🟢 狀態三:執行 (Execution)
    - **情境**:用戶針對核對訊息,明確回覆了「對」、「沒錯」、「是」等肯定詞。
    - **你的行動** **執行順序**:
    1. 呼叫 '[order_detail]' 確認 '{cancel_reschedule_text}' 並立即執行**「內容去雜質處理」**
    2. 資料預處理 (**重要**):
        - [內容去雜質原則]:針對 '{cancel_reschedule_text}',請依照下列優先順序僅提取一句核心重點,並剔除所有行政引導語(如:請聯繫...、詳情請參考...)
           - [優先順序 1:具體規則]:若內容包含「具體時間 + 扣款趴數/不予退費」,請僅保留這段規則。
               [範例]:原文「現在無法修改。2026-01-30 17:45 之後取消將不予退費。」
                            👉 AI 應回覆:「2026-01-30 17:45 之後取消將不予退費。」
           - [優先順序 2:目前狀態]:若內容不含具體扣款規則,或規則後方接的是行政廢話(如:請聯繫店家、請聯繫客服),則僅保留目前的狀態描述。
               [範例]:原文「現在無法修改。2026-01-30 16:30 之後如需取消,請聯繫店家」
                            👉 AI 應回覆:「現在無法修改。」
        - [翻譯要求]:將處理後的 '{cancel_reschedule_text}' 文字翻譯為用戶使用的語言。
    3. 根據API 回傳值回覆用戶
         - [不可取消]:請根據失敗原因與用戶提供的 '[reason]' 進行以下判斷:
          0. 訂單已取消狀態 (優先判斷)
                 - **判定條件**:若 API 回傳顯示訂單狀態為「已取消」 (Cancelled)。
                    回覆文字:「查詢到您的訂單 {order_id} 已經完成取消手續囉!如果您還有其他需要協助的地方,歡迎隨時告訴我~」
          1. 一般原因 (**不具備特殊理由**)
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法取消**、**聯繫店家**、**聯繫客服**。
              「您好。關於您提到的取消需求,由於目前訂單狀態為 '{cancel_reschedule_text}'。很抱歉無法為您取消。如果您有其他需求可以再跟我說~」 (註:'{cancel_reschedule_text}' 僅保留退改規則文字,並翻譯為用戶語言)
          2. 特殊突發狀況 (**不可抗力**)
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法改期**、**聯繫店家**、**聯繫客服**,但用戶提供原因 '[reason]' 包含「車禍、生病、住院、確診、天災、地震、颱風、過世、葬禮、受傷、骨折」等。
              回覆文字:「了解。由於您的取消原因屬於特殊突發狀況,雖然目前訂單狀態為 '{cancel_reschedule_text}',我無法直接透過系統為您更改,但我會立刻為您轉接真人客服來協助。」 
              「為維護您的權益,建議您可以先對現場狀況或相關證明拍照留存。我現在立即為您轉接,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
          3. 店家端問題
                 - **判定條件**:若 API 回傳顯示訂單狀態為 **無法更改** **無法取消**、**聯繫店家**、**聯繫客服**,但 '[reason]' 包含「店家未營業、店家客滿、沒有房間、沒有空位、現場說要等很久、店家說沒訂單、到現場沒人」等。
              回覆文字:「了解,很抱歉讓您遇到這樣的情況!💦 為維護您的消費權益,建議您可以拍照或截圖留下憑證。我現在立刻為您轉接真人客服,請稍候。」
                 - **後續動作**:回覆完成請 **立即執行** 轉接真人,請勿再做出任何其他回覆。
         - [ **取消不全額退費** ]:根據 '{cancel_reschedule_text}' 判斷 **當下時間** 已落在扣費區間時
          1. **提醒** 消費者此筆訂單的退訂規則,請提供 '{cancel_reschedule_text}' 中過濾後的內容(僅保留日期與趴數)。
          2. **提醒** 消費者在此時間取消 **有可能無法** 全額退費是否仍要取消
          3. **情境**
                - 用戶針對確認訊息,明確回覆了「不要」、「拒絕」、「否」、「算了」等否定詞
                   1. 僅回覆以下固定格式訊息,發送後必須立即停止,不得繼續生成後續文字或邏輯
                       「好的。如果您有其他需求可以再跟我說~」
                - 用戶針對核對訊息,明確回覆了「對」、「沒錯」、「是」、「沒關係」等肯定詞。
                   1. **工具解鎖**。
                   2. 呼叫 '{cancel_order}' 工具進行取消。
                   3. 回覆取消成功訊息。
         - [可以 **免費取消 (full refund)** ]:
          1. **工具解鎖**。
          2. 呼叫 '{cancel_order}' 工具進行取消。
          3. 回覆取消成功訊息。
    
    ####⚠️ 執行細節補充
    1. [過濾禁詞]:回覆取消成功訊息時,**嚴格禁止** 提及任何和 **退款**、**退費**、**金流** 有關的文字。
    2. [轉接機制]:針對上述取消結果為 **不可取消** 的情況 **[2. 特殊突發狀況 (**不可抗力**)]** 與 **[3. 店家端問題]**,需引導用戶提供憑證後,主動執行轉接真人客服指令。
    3. 針對 **[不可取消]** 和 **[不可以免費取消]** 情況,若用戶在對話中明顯有「不耐」、「生氣」、「反覆強調相同資訊」的情緒與狀況,需立即轉接人工客服。
    4. 精簡與翻譯要求]:必須將 '{cancel_reschedule_text}' 翻譯成用戶語言,並嚴格遵守**「斷句過濾」**:凡是偵測到「聯繫」或「參考」等關鍵字,該關鍵字及其後方的整段文字必須消失。 嚴禁輸出「詳情請參考...」、「請聯繫...」等行政引導語。
    5. [圖片處理]:無論正處於任何回復狀態,只要當用戶提供 **圖片**,或其他 **任何** 你無法辨識的資訊時,請 **直接轉接人工客服**。
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER取消訂單需要提供什麼資訊?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,取消訂單時通常需要提供訂單相關資訊,例如訂單編號或預約人姓名等。為了確保準確,建議你跟真人客服確認一下喔!
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    63.3%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 取消原因
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,取消訂單時通常需要提供訂單相關資訊,例如訂單編號或預約人姓名等。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 需要提供訂單編號和取消原因
    Judge 推理
    回覆提到需要提供訂單編號,但未提及必須的取消原因,導致完整性不足。雖然回覆與問題相關,但未能完全符合要求。
  • 案例 1FA06A80

    請問取消訂單的流程是什麼呢?

    已完成
    第 1 次嘗試 · 已完成 17868ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:funnow_cancel_order
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問取消訂單的流程是什麼呢?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,取消訂單的流程可能會依照不同情況有所不同。為了確保準確,建議你跟真人客服確認一下喔!

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 取消訂單的具體流程需要參考 FunNow 的官方指引
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,取消訂單的流程可能會依照不同情況有所不同。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 取消訂單的具體流程需要參考 FunNow 的官方指引
    Judge 推理
    回覆未能提供具體的取消訂單流程,且建議用戶聯繫真人客服,這不符合預期的具體回答要求。
  • 案例 90B27600

    我可以查看之前的對話紀錄嗎?

    已完成
    第 1 次嘗試 · 已完成 16858ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:get_history
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我可以查看之前的對話紀錄嗎?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,目前無法直接查看之前的對話紀錄。如果你有需要查詢特定內容,建議你跟真人客服確認一下喔!

    回答品質

    43.3%
    相關性
    90.0%
    完整性
    40.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 使用 get_history 函數可以檢索早期的對話記錄
    • 可以查看之前的內容
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,目前無法直接查看之前的對話紀錄。如果你有需要查詢特定內容,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 使用 get_history 函數可以檢索早期的對話記錄
    • 可以查看之前的內容
    Judge 推理
    AI的回覆未能正確提供使用者查詢對話紀錄的方式,並且包含了錯誤的聲明,表示無法查看紀錄。
    錯誤陳述 (1)
    • 目前無法直接查看之前的對話紀錄