執行 #312

台灣大企業服務 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面
狀態
執行中
案例
29
開始時間
16 May 13:08
耗時
¶ Economics · Bot-side N=29 attempts

Cost & Tokens

$0.1480
Total Bot Cost · USD
78.4%
Prompt Cache Hit
cost per case
$0.0051
cost per 1k tokens
$0.0010
input tokens
140,987
output tokens
3,963
cached tokens — prompt-cache hit
110,464
Total Tokens
144,950
economic efficiency
cost per correct
$0.0014
pass rate
69.0%
20 / 29
judge cost
$0.0278
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 629c82d9-b20e-4f4a-ae5f-063354cddb81 454 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:28cbe34b Tools: sha256:cb414772 Scenarios: sha256:29f20948 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
29 / 29
錯誤
0
失敗維度
0
首字延遲 p95
4520 ms
Bot 成本(Neptune)
$0.1480
Bot Tokens(Neptune)
144,950
Judge 成本(Eris)
$0.0278
Judge Tokens(Eris)
211,149
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 20.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
93.7%
[88.0% – 98.3%] · n=10
10 / 10 適用
  • 案例 DC596ABF

    可以透過手機App拍720度照片嗎

    已完成
    第 1 次嘗試 · 已完成 30704ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER可以透過手機App拍720度照片嗎
    BOT稍等一下我來幫您查詢 💡 您好,我是台灣大企業服務,很高興為您解答! 您可以透過合作夥伴的手機App拍攝720度全景照片,並快速上傳至編輯平台。若您有頻繁拍攝需求,建議可考慮使用360度攝影機,但一般用戶也能直接用手機App完成拍攝與上傳,無需額外購買硬體。 如果您需要進一步了解支援的App或操作方式,歡迎再告訴我您的需求!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53258 · 您的平台是網頁版、手機App,還是兩者皆有?
      問題
      您的平台是網頁版、手機App,還是兩者皆有?
      回答
      主要為網頁版,但用戶可透過合作夥伴的手機App拍攝720度全景照片,快速上傳至編輯平台。
    意料之外 (9)
    • ! know_53269 · 一般客戶建立並發布虛擬導覽需多久時間?
      問題
      一般客戶建立並發布虛擬導覽需多久時間?
      回答
      視需求複雜度,從10分鐘到2週不等。使用手機或現有照片可快速建立簡易導覽,若需專業攝影及編輯則較久,加入360度產品互動或空間改造則需5天至2週。
    • ! know_53548 · 最新手機專案價格哪裡查?
      問題
      最新手機專案價格哪裡查?
      回答
      請到以下路徑: \\tccfs18\Product\index,7.行動類產品>平板手機價格清單
    • ! know_53551 · 手機庫存哪裡查?
      問題
      手機庫存哪裡查?
      回答
      請到以下路徑: \\tccfs18\CMD_for_Sales\業務需求\手機調撥需求表\手機庫存
    • ! know_53512 · 手機有額外優惠嗎?
      問題
      手機有額外優惠嗎?
      回答
      有的,也可以為貴公司客製化不同程度的優惠方案
    • ! know_53511 · 可以申辦手機嗎?
      問題
      可以申辦手機嗎?
      回答
      可以的,台灣大哥大單門號、手機、平板、家電商品的組合案,提供您挑選。
    • ! know_53550 · 手機配件類價格哪裡查?
      問題
      手機配件類價格哪裡查?
      回答
      請到以下路徑: \\tccfs18\Product\index,7.行動類產品>手機配件價格清單(DS)
    • ! know_53496 · M+ APP 安裝是否有限制系統版本?
      問題
      M+ APP 安裝是否有限制系統版本?
      回答
      有。iOS 最低支援 iOS 15;Android 最低支援 Android 9;低於版本可能安裝失敗。
    • ! know_53549 · 如何填寫手機需求表?
      問題
      如何填寫手機需求表?
      回答
      請到以下路徑: \\tccfs18\Product\index,7.行動類產品>手機保留需求表(空白表單)
    • ! know_53259 · 使用者是否需要特別設備(如VR頭盔或360度攝影機)?
      問題
      使用者是否需要特別設備(如VR頭盔或360度攝影機)?
      回答
      不需要,平台相容VR頭盔與360度攝影機,但用戶可直接在線瀏覽與編輯,無須購買硬體或下載軟體。頻繁拍攝建議使用360度攝影機,另提供手機設備方案及專業攝影服務。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到可以透過合作夥伴的手機App拍攝720度全景照片,這一點在來源中有明確支持,因此沒有虛構的聲明。所有的事實陳述都能夠找到相應的來源支持。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是台灣大企業服務,很高興為您解答! 您可以透過合作夥伴的手機App拍攝720度全景照片,並快速上傳至編輯平台。若您有頻繁拍攝需求,建議可考慮使用360度攝影機,但一般用戶也能直接用手機App完成拍攝與上傳,無需額外購買硬體。 如果您需要進一步了解支援的App或操作方式,歡迎再告訴我您的需求!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 用戶可以透過合作夥伴的手機App拍攝720度全景照片
    • 快速上傳至編輯平台
    Judge 推理
    這個回答完全符合用戶的問題,並且涵蓋了所有關鍵點,沒有遺漏或錯誤的資訊。
  • 案例 31C39B7E

    你們的虛擬導覽軟體服務名稱是什麼?

    已完成
    第 1 次嘗試 · 已完成 27427ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的虛擬導覽軟體服務名稱是什麼?
    BOT正在為您搜尋最新資料 ⏳ 我們的虛擬導覽軟體服務名稱是「台灣大哥大線上實境」。如果您需要進一步了解功能或應用,歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53254 · 您的虛擬導覽軟體服務名稱是什麼?
      問題
      您的虛擬導覽軟體服務名稱是什麼?
      回答
      台灣大哥大線上實境
    意料之外 (9)
    • ! know_53255 · 您的虛擬導覽軟體主要用途為何?
      問題
      您的虛擬導覽軟體主要用途為何?
      回答
      台灣大哥大線上實境提供SaaS虛擬導覽編輯平台,讓企業客戶能快速整合多媒體與資訊,打造客製化的虛擬導覽,提升線上互動並為消費者創造沉浸式體驗。
    • ! know_53257 · 您的虛擬導覽平台有哪些主要功能?
      問題
      您的虛擬導覽平台有哪些主要功能?
      回答
      雲端編輯、無需硬體設備、虛擬會議、語音導覽、多媒體整合與快速部署,等。
    • ! know_53264 · 虛擬導覽可否嵌入其他網站或分享到社群媒體?
      問題
      虛擬導覽可否嵌入其他網站或分享到社群媒體?
      回答
      可以,最終產出為URL,方便分享或嵌入公司網站。高級方案可限制觀看者須登入白名單。
    • ! know_53224 · 你的碳會計軟體或服務名稱是什麼?
      問題
      你的碳會計軟體或服務名稱是什麼?
      回答
      碳管理系統暨顧問整合服務
    • ! know_53271 · 對於客戶資料與虛擬導覽安全採取哪些措施?
      問題
      對於客戶資料與虛擬導覽安全採取哪些措施?
      回答
      雲端平台採用標準資安防護與防火牆,客戶擁有帳號密碼完全控制,導覽可設公開、私密或白名單限制。
    • ! know_53261 · 虛擬導覽的客製化程度如何?(品牌化、版面配置、內容等)
      問題
      虛擬導覽的客製化程度如何?(品牌化、版面配置、內容等)
      回答
      非常高度客製化。編輯平台包含類似社群貼文的表單編輯與自由放置資訊標籤與多媒體的編輯工具。
    • ! know_53269 · 一般客戶建立並發布虛擬導覽需多久時間?
      問題
      一般客戶建立並發布虛擬導覽需多久時間?
      回答
      視需求複雜度,從10分鐘到2週不等。使用手機或現有照片可快速建立簡易導覽,若需專業攝影及編輯則較久,加入360度產品互動或空間改造則需5天至2週。
    • ! know_53270 · 平台內是否提供行銷或推廣工具?
      問題
      平台內是否提供行銷或推廣工具?
      回答
      支援虛擬會議(可預約)及導覽解說服務,含分析功能與外部連結。
    • ! know_53377 · 容器運算 (CCS) 跟虛擬運算 (VCS) 使用上分別適用於那些情境?
      問題
      容器運算 (CCS) 跟虛擬運算 (VCS) 使用上分別適用於那些情境?
      回答
      容器運算 (CCS) 適用於大規模且資料密集的高負載工作,例:建立 AI 模型訓練。 虛擬運算 (VCS) 適用於工作負載小的應用程式,例:網站架設,AI 推論服務。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的虛擬導覽軟體服務名稱「台灣大哥大線上實境」完全符合來源資料,且沒有任何虛構的內容,因此所有的事實陳述都是有根據的。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 我們的虛擬導覽軟體服務名稱是「台灣大哥大線上實境」。如果您需要進一步了解功能或應用,歡迎隨時詢問!
    預期答案
    台灣大哥大線上實境
    Judge 推理
    回覆中清楚提供了虛擬導覽軟體服務的名稱,並且符合用戶的查詢,內容完整且正確。
  • 案例 7F0B4221

    請問 M+ APP 最低需要的 Android 版本是幾呢?

    已完成
    第 1 次嘗試 · 已完成 30340ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問 M+ APP 最低需要的 Android 版本是幾呢?
    BOT稍等一下我來幫您查詢 💡 您好,我是台灣大企業服務,很高興為您解答! M+ APP 的 Android 最低支援版本為 Android 9,低於這個版本可能會安裝失敗。若您有其他相關問題,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53496 · M+ APP 安裝是否有限制系統版本?
      問題
      M+ APP 安裝是否有限制系統版本?
      回答
      有。iOS 最低支援 iOS 15;Android 最低支援 Android 9;低於版本可能安裝失敗。
    意料之外 (9)
    • ! know_53486 · M+企業總機 / M+雲端總機要怎麼使用?
      問題
      M+企業總機 / M+雲端總機要怎麼使用?
      回答
      只需下載專屬M+ App或加購電腦版軟體,輸入帳號密碼即可登入並使用分機撥打/接聽電話
    • ! know_53495 · Webex 電腦版申裝是否有限制作業系統版本?
      問題
      Webex 電腦版申裝是否有限制作業系統版本?
      回答
      有。最低支援 Windows 10;低於該版本將可能安裝失敗。
    • ! know_53485 · 什麼是 M+企業總機 / M+雲端總機?
      問題
      什麼是 M+企業總機 / M+雲端總機?
      回答
      M+企業總機/M+雲端總機是一套雲端化的企業電話總機服務,免除傳統總機設備,只要有網路,員工就能透過電腦或手機 App 使用公司分機,並以公司代表號撥打/接聽電話,支援遠距與行動辦公。
    • ! know_53491 · M+企業總機 / M+雲端總機可以搭配 IP Phone購買嗎?
      問題
      M+企業總機 / M+雲端總機可以搭配 IP Phone購買嗎?
      回答
      M+企業總機/M+雲端總機目前搭配的話機型號如下,可依需求購買: Cisco 7811、7821、8841、8865
    • ! know_53494 · 是否提供傳真功能?
      問題
      是否提供傳真功能?
      回答
      M+企業總機/M+雲端總機目前不支援傳真功能。
    • ! know_53500 · 如何加入公司的 M+ 企業帳號?
      問題
      如何加入公司的 M+ 企業帳號?
      回答
      M+APP【好友】頁籤檢視是否有『待回覆邀請/申請』與公司企業帳號;有則同意加入。若無,請確認是否完成開通信並請客戶管理者邀請。
    • ! know_53490 · M+企業總機 / M+雲端總機有試用或體驗方案嗎?
      問題
      M+企業總機 / M+雲端總機有試用或體驗方案嗎?
      回答
      M+企業總機/M+雲端總機提供標準 POC 方案可供客戶申請,讓您體驗服務效果,詳細內容請洽業務專員。
    • ! know_53114 · 我想了解行動通訊相關問題
      問題
      我想了解行動通訊相關問題
      回答
      行動通訊服務包含 1. 行動通訊:行動企業群組服務、行動企業數據服務、公務門號線上申辦 2. 企業整合通訊:M+ Meet、M+ 企業即時通訊、M+ 雲端總機、M+ 企業總機、M+ 行動分機 3. 物聯網:車隊大管家 Plus、精準定位服務、物聯網 SIM 管理平台、MyCharge 4. 5G:5G 專網 您想多了解哪一個行動通訊服務呢?
    • ! know_53258 · 您的平台是網頁版、手機App,還是兩者皆有?
      問題
      您的平台是網頁版、手機App,還是兩者皆有?
      回答
      主要為網頁版,但用戶可透過合作夥伴的手機App拍攝720度全景照片,快速上傳至編輯平台。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆中提到 M+ APP 的 Android 最低支援版本為 Android 9,這一點在來源中有明確支持,因此該回覆的所有事實陳述均為有根據的。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是台灣大企業服務,很高興為您解答! M+ APP 的 Android 最低支援版本為 Android 9,低於這個版本可能會安裝失敗。若您有其他相關問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 最低支援 Android 9
    • 低於這個版本可能安裝失敗
    Judge 推理
    這個回答完全符合用戶的問題,提供了正確的最低支援 Android 版本及安裝失敗的情況,且沒有遺漏任何關鍵資訊。
  • 案例 B205EEDF

    長期使用公有雲要怎麼評估成本?

    已完成
    第 1 次嘗試 · 已完成 46732ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER長期使用公有雲要怎麼評估成本?
    BOT正在為您搜尋最新資料 ⏳ 長期使用公有雲時,雖然可以避免一次性購買硬體與維運的成本,通常會比較划算,但如果是長期且大量、固定的使用情境,還是需要進行成本評估與資源最佳化。建議您根據實際需求,評估用量、資源配置及未來擴充彈性,才能確保成本效益最大化。 如果您需要更詳細的評估方式或有特定需求,也歡迎進一步說明,我可以協助您查詢相關資訊!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53367 · 使用公有雲是不是一定比較便宜?
      問題
      使用公有雲是不是一定比較便宜?
      回答
      公有雲避免一次性買硬體與維運成本,通常更划算。但若長期大量固定使用,也要做成本評估與資源最佳化。
    意料之外 (9)
    • ! know_53366 · 公有雲是不是只適合大企業?中小企業也能用嗎?
      問題
      公有雲是不是只適合大企業?中小企業也能用嗎?
      回答
      不論大企業或中小企業都能使用。公有雲資源可依需求彈性調整,對中小企業更有彈性與成本優勢。
    • ! know_53364 · 什麼是公有雲?和私有雲、混合雲有什麼不同?
      問題
      什麼是公有雲?和私有雲、混合雲有什麼不同?
      回答
      公有雲是由第三方業者(如 AWS、Azure、Google Cloud)提供的共享雲端資源,企業只要租用即可使用。私有雲是企業自己建置與專用,混合雲則是兩者並用。
    • ! know_53368 · 請問有提供哪些公有雲服務可以申請?
      問題
      請問有提供哪些公有雲服務可以申請?
      回答
      三大公有雲服務(AWS、Azure、GCP)均可提供申請,若有需求,請洽詢客戶服務專線或是業務窗口,我們將盡快為您服務。
    • ! know_53365 · 我們資料放在公有雲上會不會比較不安全?
      問題
      我們資料放在公有雲上會不會比較不安全?
      回答
      公有雲供應商通常具備國際級資安認證與防護機制,比多數企業自建環境更安全。還能加上帳號權限控管、加密及資安服務,確保資料安全。
    • ! know_53371 · 公有雲會不會有資安疑慮?怎麼確保資料安全?
      問題
      公有雲會不會有資安疑慮?怎麼確保資料安全?
      回答
      三大公有雲均取得 ISO 27001、SOC 2等資安認證,並支援端對端加密、防火牆、IAM 等企業級資安功能。
    • ! know_53355 · 「EASM曝險評估服務」有分哪些方案?該如何選擇?
      問題
      「EASM曝險評估服務」有分哪些方案?該如何選擇?
      回答
      EASM曝險評估服務有分一次型方案、月租型方案及訂閱制方案,可依 貴公司報告需求頻率與份數選擇最適合的方案。
    • ! know_53346 · 什麼是儲存雲?
      問題
      什麼是儲存雲?
      回答
      「儲存雲」為企業提供在地化、高效能、電信級資安的檔案管理解決方案,提供資料儲存空間,安全保存、存取與備份檔案。
    • ! know_53115 · 我想了解雲端服務相關問題
      問題
      我想了解雲端服務相關問題
      回答
      雲端服務包含 1. 雲端基礎設施:資料中心、網域名稱 2. 雲端運算平台:運算雲 3.0、TWCC 台灣 AI 雲 3. 雲端應用:M365、iMessage 雲端郵件服務 4. 雲端儲存:儲存雲 5. 網路效能管理:台灣大哥大 CDN、網路效能託管服務、SD-WAN 託管服務 6. 數位展演:台灣大哥大線上實境 您想多了解哪一個雲端服務呢?
    • ! know_53369 · 為什麼要透過電信商申請三大公有雲服務?
      問題
      為什麼要透過電信商申請三大公有雲服務?
      回答
      可提供台灣開立之統一發票、中文帳單與新台幣付款,對企業報帳較為便利。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的長期使用公有雲的成本評估與資源最佳化,與來源資料中的內容一致,因此所有的事實陳述都得到了支持。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 長期大量固定使用公有雲時需要進行成本評估與資源最佳化
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 長期使用公有雲時,雖然可以避免一次性購買硬體與維運的成本,通常會比較划算,但如果是長期且大量、固定的使用情境,還是需要進行成本評估與資源最佳化。建議您根據實際需求,評估用量、資源配置及未來擴充彈性,才能確保成本效益最大化。 如果您需要更詳細的評估方式或有特定需求,也歡迎進一步說明,我可以協助您查詢相關資訊!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 長期大量固定使用公有雲時需要進行成本評估與資源最佳化
    Judge 推理
    回覆中提到長期使用公有雲需要進行成本評估與資源最佳化,但未明確指出「長期大量固定使用」的情境,導致核心內容未完全覆蓋。整體上,回覆仍然相關且正確。
  • 案例 150A4F13

    碳管理平台可以幫助企業合規嗎?

    已完成
    第 1 次嘗試 · 已完成 41609ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER碳管理平台可以幫助企業合規嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 碳管理平台確實可以幫助企業合規,協助企業實現淨零碳排目標。這類平台具備高度彈性,能即時因應法規變動,並支援所有溫室氣體排放範疇(Scope 1、2、3)及不同盤查邊界,也可延伸至碳足跡計算與供應鏈管理模組。此外,平台可整合所有佐證資料、報告計算與視覺化呈現,集中於同一平台中,讓企業更有效率地進行碳排放報告與合規作業。 如果您需要顧問服務,我們也能提供培訓、報告撰寫指導與合規支援等多元服務,協助企業順利達成相關法規要求。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53225 · 碳管理平台介紹?
      問題
      碳管理平台介紹?
      回答
      幫助企業合規實現淨零碳排目標
    意料之外 (9)
    • ! know_53234 · 你們提供哪些顧問服務,以協助企業進行碳管理與報告?
      問題
      你們提供哪些顧問服務,以協助企業進行碳管理與報告?
      回答
      我們作為系統整合專家,會根據每位客戶的需求量身打造顧問服務。可協助媒合顧問,提供培訓、報告撰寫指導、合規支援等多元服務。
    • ! know_53226 · 碳管理系統為企業提供哪些核心功能?
      問題
      碳管理系統為企業提供哪些核心功能?
      回答
      此平台是一個可自訂的工具,可協助企業進行碳排放報告,整合所有佐證資料、報告計算與視覺化呈現,集中於同一平台中。
    • ! know_53238 · 企業該如何判斷你們的碳管理系統是否適合他們的需求?
      問題
      企業該如何判斷你們的碳管理系統是否適合他們的需求?
      回答
      我們的平台具備高度彈性,可滿足多數企業的需求。歡迎留下聯絡資訊,我們的業務代表將主動聯繫,了解您的實際情況並提供建議。
    • ! know_53236 · 你們的顧問服務如何與碳管理系統配合運作?
      問題
      你們的顧問服務如何與碳管理系統配合運作?
      回答
      我們的顧問合作夥伴對平台運作相當熟悉,能直接在系統中提供報告相關服務,確保碳數據管理的一致性與準確性。
    • ! know_53233 · 碳管理平台與市面上的其他解決方案有何不同?
      問題
      碳管理平台與市面上的其他解決方案有何不同?
      回答
      我們的平台具備高度彈性,能即時因應法規變動。客戶也能更自由地上傳與調整報告模板格式,這是多數碳會計軟體無法提供的彈性。
    • ! know_53229 · 碳管理平台是雲端、地端部署,還是兩者皆有?
      問題
      碳管理平台是雲端、地端部署,還是兩者皆有?
      回答
      我們的平台為雲端架構。
    • ! know_53235 · 企業在開始使用你們的碳管理系統時,是否會提供導入協助或教育訓練?
      問題
      企業在開始使用你們的碳管理系統時,是否會提供導入協助或教育訓練?
      回答
      我們會依據不同訂閱方案,提供售後支援與教育訓練。若有額外培訓需求,也可透過一次性付費方式安排。
    • ! know_53230 · 碳管理系統軟體支援哪些溫室氣體排放範疇(Scope 1、Scope 2、Scope 3)?
      問題
      碳管理系統軟體支援哪些溫室氣體排放範疇(Scope 1、Scope 2、Scope 3)?
      回答
      我們的平台具備高度彈性,支援所有排放範疇(Scope 1、2、3)及不同盤查邊界,並可延伸至碳足跡計算與供應鏈管理模組。
    • ! know_53242 · 新客戶該如何開始使用你們的碳管理系統及服務,你們是否提供線上資源或文件,協助客戶有效使用軟體?
      問題
      新客戶該如何開始使用你們的碳管理系統及服務,你們是否提供線上資源或文件,協助客戶有效使用軟體?
      回答
      是的,我們的平台上提供了各種訓練教材供使用者參考。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆內容完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 碳管理平台確實可以幫助企業合規,協助企業實現淨零碳排目標。這類平台具備高度彈性,能即時因應法規變動,並支援所有溫室氣體排放範疇(Scope 1、2、3)及不同盤查邊界,也可延伸至碳足跡計算與供應鏈管理模組。此外,平台可整合所有佐證資料、報告計算與視覺化呈現,集中於同一平台中,讓企業更有效率地進行碳排放報告與合規作業。 如果您需要顧問服務,我們也能提供培訓、報告撰寫指導與合規支援等多元服務,協助企業順利達成相關法規要求。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 碳管理平台幫助企業合規實現淨零碳排目標
    Judge 推理
    這個回答完全針對用戶的問題,並且詳細說明了碳管理平台如何幫助企業合規,涵蓋了所有關鍵點,且沒有錯誤的陳述。
  • 案例 2AF0BC49

    e-Service的子帳號功能可以編輯哪些內容?

    已完成
    第 1 次嘗試 · 已完成 33848ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERe-Service的子帳號功能可以編輯哪些內容?
    BOT馬上為您找找看相關內容 📋 您好,我是台灣大企業服務的 AI 客服,很高興為您解答! e-Service 的子帳號功能,主要可以由管理者帳號進行以下編輯與管理: - 新增、異動、刪除子帳號(需由系統管理者帳號設定) - 可依據帳務權限及產品權限進行新增及異動 - 權限異動後會發送 email 通知至管理者帳號及子帳號 需要注意的是,子帳號的基本資料僅能查詢,不能直接變更。如果需要異動資料,需由管理者帳號將原帳號申請取消並重新申請新帳號。 如果您有特定想了解的編輯項目,歡迎再補充說明!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53139 · e-Service哪些產品項目包含在子帳號功能權限內?
      問題
      e-Service哪些產品項目包含在子帳號功能權限內?
      回答
      依據貴公司申請之所有產品服務內容進行權限編輯
    意料之外 (9)
    • ! know_53137 · e-Service子帳號功能權限要怎麼管理?
      問題
      e-Service子帳號功能權限要怎麼管理?
      回答
      編輯子帳號、異動子帳號、刪除子帳號,皆需由系統管理者帳號設定,可依據帳務權限及產品權限進行新增及異動。
    • ! know_53132 · e-Service子帳號的權限要怎麼變更?
      問題
      e-Service子帳號的權限要怎麼變更?
      回答
      子帳號權限及新增、異動,皆由管理者帳號管理
    • ! know_53133 · e-Service子帳號資料要怎麼修改?
      問題
      e-Service子帳號資料要怎麼修改?
      回答
      子帳號基本資料僅為查詢不能變更。若要異動資料,請管理者帳號直接將原帳號申請取消並重新申請新帳號
    • ! know_53120 · e-Service 管理者帳號是什麼?
      問題
      e-Service 管理者帳號是什麼?
      回答
      管理者帳號管理包括變更密碼及管理子帳號。您可以在系統中新增或刪除帳號,並設定各帳號的功能權限。所有操作都會記錄在系統使用紀錄中,方便日後查詢。
    • ! know_53147 · e-Service管理帳號可以管理子帳號嗎?
      問題
      e-Service管理帳號可以管理子帳號嗎?
      回答
      管理子帳號路徑:e-Service→帳號管理→子帳號管理
    • ! know_53138 · e-Service子帳號功能權限異動後會通知嗎?
      問題
      e-Service子帳號功能權限異動後會通知嗎?
      回答
      子帳號權限異動皆會發送email通知至管理者帳號及子帳號
    • ! know_53135 · e-Service子帳號要怎麼查詢?
      問題
      e-Service子帳號要怎麼查詢?
      回答
      只有管理者帳號可以查詢子帳號,查詢子帳號時,系統預設顯示全部帳號。可依據搜尋欄位輸入任一條件值查詢。
    • ! know_53136 · e-Service子帳號可以查詢到什麼?
      問題
      e-Service子帳號可以查詢到什麼?
      回答
      管理者帳號可以查詢到子帳號,帳號、單位名稱、員工姓名、身份證字號 Email、行動電話之資訊
    • ! know_53134 · 我要怎麼新增e-Service子帳號?
      問題
      我要怎麼新增e-Service子帳號?
      回答
      新增子帳號需由系統管理者帳號設定,輸入基本資料如帳號、單位名稱、員工姓名、身份證字號、Email及行動電話,並設定帳務及產品權限。設定完成後,系統會發送通知Email子帳號進行開通設定,並同步通知管理者帳號。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆內容完全符合來源資料,所有提到的編輯功能和管理方式都有相應的來源支持,因此沒有虛構的聲明。

    回答品質

    73.3%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 依據貴公司申請之所有產品服務內容進行權限編輯
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是台灣大企業服務的 AI 客服,很高興為您解答! e-Service 的子帳號功能,主要可以由管理者帳號進行以下編輯與管理: - 新增、異動、刪除子帳號(需由系統管理者帳號設定) - 可依據帳務權限及產品權限進行新增及異動 - 權限異動後會發送 email 通知至管理者帳號及子帳號 需要注意的是,子帳號的基本資料僅能查詢,不能直接變更。如果需要異動資料,需由管理者帳號將原帳號申請取消並重新申請新帳號。 如果您有特定想了解的編輯項目,歡迎再補充說明!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 依據貴公司申請之所有產品服務內容進行權限編輯
    Judge 推理
    AI 回覆中提到的編輯內容並未完全符合使用者的問題,缺少了根據公司申請的產品服務內容進行權限編輯的關鍵點,因此在完整性上得分較低。
  • 案例 F87B04AE

    有沒有案例分享可以看?

    已完成
    第 1 次嘗試 · 已完成 34652ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER有沒有案例分享可以看?
    BOT稍等一下我來幫您查詢 💡 您好,我是台灣大企業服務,很高興為您服務!我們有多產業的案例分享,若您需要詳細內容,建議您可以聯繫我們的業務代表索取簡報。 另外,如果您對5G專網企業案例有興趣,2021~2024年間我們已在製造業、倉儲物流、智慧交通等多個場域佈建5G專網,並與超過200家生態圈夥伴合作,推動各式「超5G應用」。 請問您想了解哪一類型的案例?還是需要其他特定領域的分享呢?

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53272 · 是否有知名客戶或案例分享?
      問題
      是否有知名客戶或案例分享?
      回答
      有多產業案例,詳情請洽業務代表索取簡報。
    意料之外 (9)
    • ! know_53264 · 虛擬導覽可否嵌入其他網站或分享到社群媒體?
      問題
      虛擬導覽可否嵌入其他網站或分享到社群媒體?
      回答
      可以,最終產出為URL,方便分享或嵌入公司網站。高級方案可限制觀看者須登入白名單。
    • ! know_53196 · 5G專網企業案例?
      問題
      5G專網企業案例?
      回答
      2021~2024 TWM在5G專網領域已佈建多個POC & POS場域,其中包含製造業、倉儲物流業、智慧交通、智慧展演、Lab園區…等等,在5G AIoT的應用端有超過200家生態圈合作夥伴,啟動各式垂直場域的「超5G應用」
    • ! know_53320 · 語音客服是否可提供PoC或測試實例?
      問題
      語音客服是否可提供PoC或測試實例?
      回答
      目前可提供內部測試環境供客戶測試,如客戶需導入企業內部資料,則另以個案討論
    • ! know_53215 · 社交工程演練的釣中清單檔案格式
      問題
      社交工程演練的釣中清單檔案格式
      回答
      可以,釣中清單我們會另外用Excel檔提供給客戶
    • ! know_53239 · 碳管理系統是否提供軟體的免費試用或示範?
      問題
      碳管理系統是否提供軟體的免費試用或示範?
      回答
      請留下您的聯絡資訊,我們的業務代表將與您聯繫,安排示範或討論試用方案。
    • ! know_53326 · 質檢系統能否統計匯出近期客戶提出的前10大問題?
      問題
      質檢系統能否統計匯出近期客戶提出的前10大問題?
      回答
      尚在開發測試中,最快Y26Q1可進行Demo
    • ! know_53270 · 平台內是否提供行銷或推廣工具?
      問題
      平台內是否提供行銷或推廣工具?
      回答
      支援虛擬會議(可預約)及導覽解說服務,含分析功能與外部連結。
    • ! know_53524 · 查詢申請案件的簽核進度
      問題
      查詢申請案件的簽核進度
      回答
      透過iPortal - EBAS 電子簽核系統 - 個人表單專區 - 查詢申請紀錄中的案件點選案件編號查看預覽流程
    • ! know_53242 · 新客戶該如何開始使用你們的碳管理系統及服務,你們是否提供線上資源或文件,協助客戶有效使用軟體?
      問題
      新客戶該如何開始使用你們的碳管理系統及服務,你們是否提供線上資源或文件,協助客戶有效使用軟體?
      回答
      是的,我們的平台上提供了各種訓練教材供使用者參考。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的案例分享和5G專網的資訊均有來源支持,因此沒有虛構的內容,所有的事實陳述都可以引用來源。

    回答品質

    83.3%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    0.0% · w 30%
    • 詳情請洽業務代表索取簡報
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是台灣大企業服務,很高興為您服務!我們有多產業的案例分享,若您需要詳細內容,建議您可以聯繫我們的業務代表索取簡報。 另外,如果您對5G專網企業案例有興趣,2021~2024年間我們已在製造業、倉儲物流、智慧交通等多個場域佈建5G專網,並與超過200家生態圈夥伴合作,推動各式「超5G應用」。 請問您想了解哪一類型的案例?還是需要其他特定領域的分享呢?
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 有多產業案例
    II 重要限制 w 30%
    • 詳情請洽業務代表索取簡報
    Judge 推理
    回覆中提到有多產業案例,符合核心必答的要求,但未提及詳情請洽業務代表索取簡報,導致完整性不足。
  • 案例 62A501F6

    表後儲能可以用於商業建築節費嗎

    已完成
    第 1 次嘗試 · 已完成 38216ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER表後儲能可以用於商業建築節費嗎
    BOT馬上為您找找看相關內容 📋 您好,我是台灣大企業服務,很高興為您解答! 表後儲能確實可以用於商業建築節費。它的主要功能是在離峰時段儲存電力,並在電價較高或用電需求高的尖峰時段釋放電力,協助企業有效降低契約容量、減少用電超約額外電費,並取得時間電價優惠。此外,表後儲能也能整合智慧能源管理系統,進一步優化能源使用策略,發揮更大的節費效益。 如果您有進一步的需求或想了解專案規劃細節,歡迎隨時告訴我!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53219 · 表後儲能適用於哪些場景?
      問題
      表後儲能適用於哪些場景?
      回答
      表後儲能可應用於多樣的場所,例如可用於工廠削峰填谷、停電備援、商業建築節費及能源管理優化等。
    意料之外 (9)
    • ! know_53222 · 表後儲能成本很高嗎?
      問題
      表後儲能成本很高嗎?
      回答
      表後儲能服務會依據場域需求、大小等提供專案規劃,TWM提供多元的商業合作模式,可協助降低企業用戶的導入門檻,歡迎企業用戶與TWM聯繫,以安排專案介紹與說明
    • ! know_53217 · 表後儲能優點
      問題
      表後儲能優點
      回答
      表後儲能服務好處:1.電費與用電優化。2.強化企業電網韌性。3.協助達成企業ESG淨零碳排目標。
    • ! know_53223 · 表後儲能擴張性高嗎?
      問題
      表後儲能擴張性高嗎?
      回答
      表後儲能的儲電來源可依據客戶端場域彈性規劃,可以與客戶的太陽能發電裝置整合。TWM可依據需求,進行專案規劃,歡迎企業用戶與TWM聯繫,安排專案需求訪案與提案規劃
    • ! know_53220 · 表後儲能如何提升用電管理?
      問題
      表後儲能如何提升用電管理?
      回答
      表後儲能服務如可整合智慧能源管理系統者,可一併分析用電數據,優化能源使用策略,整體來說可以發揮更大的效益。
    • ! know_53216 · 表後儲能服務之內容
      問題
      表後儲能服務之內容
      回答
      表後儲能(Behind-the-Meter Energy Storage)是指設置在用戶端電表之後的儲能系統。 它的主要功能是在離峰時段儲存電力或儲存太陽能等再生能源產生的多餘電力,並在電價較高或電力需求較高的尖峰時段釋放電力,從而減少對外部電網的依賴。TWM可依據企業用戶的專案需求,提供客制專案規劃,涵蓋節能、創能、儲能及充電的智慧能源管理解決方案,協助企業有效降低契約容量,減少用電超約額外電費,並取得時間電價優惠。採一站式服務,滿足企業個別需求,達成降本增效目標
    • ! know_53221 · 建置表後儲能需要注意哪些消防法規?
      問題
      建置表後儲能需要注意哪些消防法規?
      回答
      導入表後儲能服務時須符合主管機關消防安全規定,確保通風、防火安全設計等,相關的規範,TWM都會在提案規劃中,與客戶說明。
    • ! know_53218 · 如何進行表後儲能服務
      問題
      如何進行表後儲能服務
      回答
      表後儲能導入的流程:1.初次洽談:服務介紹及需求訪談。2.需求彙整:現場勘查及需求細節確認。3.提案:提供合作規劃、報價及時程。4.議約協商:商務條件洽談及合約研擬。5.簽約合作:雙方簽署正式合約。歡迎企業客戶與TWM聯繫,安排需求訪談與提案規劃。
    • ! know_53118 · 我想了解 ESG 服務相關問題
      問題
      我想了解 ESG 服務相關問題
      回答
      ESG 服務包含 1. 能源管理:表後儲能服務、碳管理系統暨顧問整合服務 你想多了解哪一個項目呢?
    • ! know_53367 · 使用公有雲是不是一定比較便宜?
      問題
      使用公有雲是不是一定比較便宜?
      回答
      公有雲避免一次性買硬體與維運成本,通常更划算。但若長期大量固定使用,也要做成本評估與資源最佳化。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的表後儲能可以用於商業建築節費的功能,完全符合來源材料中的描述,且所有的事實陳述都有來源支持,因此沒有虛構的內容。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    • 能源管理優化
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是台灣大企業服務,很高興為您解答! 表後儲能確實可以用於商業建築節費。它的主要功能是在離峰時段儲存電力,並在電價較高或用電需求高的尖峰時段釋放電力,協助企業有效降低契約容量、減少用電超約額外電費,並取得時間電價優惠。此外,表後儲能也能整合智慧能源管理系統,進一步優化能源使用策略,發揮更大的節費效益。 如果您有進一步的需求或想了解專案規劃細節,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 表後儲能可應用於商業建築節費及能源管理優化
    Judge 推理
    回覆內容針對表後儲能在商業建築節費的應用進行了詳細說明,但未提及能源管理優化的部分,因此在完整性上有所欠缺。
  • 案例 5F255E40

    網內、網外、市話、上網服務有折扣嗎

    已完成
    第 1 次嘗試 · 已完成 32498ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER網內、網外、市話、上網服務有折扣嗎
    BOT馬上為您找找看相關內容 📋 您好,我是台灣大企業服務的 AI 客服。針對您詢問的網內、網外、市話、上網服務是否有折扣,目前這些服務是有優惠的,建議您可以聯繫業務專員,由專人為您報價。若需要協助聯絡業務或有其他相關問題,也歡迎隨時告訴我!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53513 · 網內/網外/市話/上網折扣有優惠嗎?
      問題
      網內/網外/市話/上網折扣有優惠嗎?
      回答
      有的,可以聯繫業務專員與您報價
    意料之外 (9)
    • ! know_53392 · 我想要設定電話自動轉接至另外的一般市話、行動電話是否可行? 是否需要費用?
      問題
      我想要設定電話自動轉接至另外的一般市話、行動電話是否可行? 是否需要費用?
      回答
      您可查詢官網市內電話產品的加值服務即可確認
    • ! know_53113 · 我想了解固網通訊相關問題
      問題
      我想了解固網通訊相關問題
      回答
      固網通訊服務包含 1. 固網數據服務:國內數據電路、國內乙太專線、國內虛擬網路 2. 固網語音服務:市內語音、國際長途電話、4066統一撥接、080免付費電話 3. 企業上網服務:企業光纖上網、乙太上網、FTTX上網、ADSL上網、IP Transit 您想多了解哪一個固網通訊服務呢?
    • ! know_53455 · 如何查詢乙太專線上網服務帳單金額?
      問題
      如何查詢乙太專線上網服務帳單金額?
      回答
      從官網的固網帳務服務介面進行查詢(https://www.twmsolution.com/ebgp/service)
    • ! know_53368 · 請問有提供哪些公有雲服務可以申請?
      問題
      請問有提供哪些公有雲服務可以申請?
      回答
      三大公有雲服務(AWS、Azure、GCP)均可提供申請,若有需求,請洽詢客戶服務專線或是業務窗口,我們將盡快為您服務。
    • ! know_53407 · 「專線」、「上網」使用上的差異為何?
      問題
      「專線」、「上網」使用上的差異為何?
      回答
      使用「專線」僅可在兩端點傳輸資料,無法像「上網」進入Internet使用瀏覽網頁、觀看各種媒體等公開網路功能。
    • ! know_53159 · e-Service帳務服務包含哪些內容?
      問題
      e-Service帳務服務包含哪些內容?
      回答
      帳務服務包括行動網路和固網服務的帳單調閱及下載、報表服務、繳款服務、申請信用卡轉帳代繳、發票資料查詢與下載等功能。您可以查詢帳單、修改帳單地址、設定帳單結帳週期等。
    • ! know_53380 · 安心Call只適用於電商物流嗎?
      問題
      安心Call只適用於電商物流嗎?
      回答
      安心Call可協助隱碼與轉換代碼資訊、進行門號轉換,可防止消費者 個資外漏,保護消費者個資權益,不管是電商零售、叫車服務、到府服務、醫療產業,只要使用的服務需要用到電話號碼連繫,都可使用安心Call服務
    • ! know_53362 · 是否有提供免費的POC方案?
      問題
      是否有提供免費的POC方案?
      回答
      有的,因應SD-WAN為網路架構服務,因此會從相關功能面上提供乙次免費POC驗證服務。
    • ! know_53345 · 可以試用台灣大CDN服務嗎?
      問題
      可以試用台灣大CDN服務嗎?
      回答
      您可於官網產品頁直接點選立即洽詢服務「了解更多」按鈕,我們將由專人為您提供方案評估與試用選擇。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆中提到的服務有優惠,這一點與來源中的資訊一致,因此沒有虛構的內容。所有的事實陳述都可以找到相應的來源支持。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 有的,
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是台灣大企業服務的 AI 客服。針對您詢問的網內、網外、市話、上網服務是否有折扣,目前這些服務是有優惠的,建議您可以聯繫業務專員,由專人為您報價。若需要協助聯絡業務或有其他相關問題,也歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以聯繫業務專員與您報價
    Judge 推理
    回覆內容針對用戶的問題進行了回應,並提供了聯繫業務專員的建議,但未明確提到「有的」這一點,因此在完整性上有所缺失。
  • 案例 699763A9

    e-Service 密碼要怎麼改?

    已完成
    第 1 次嘗試 · 已完成 38176ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERe-Service 密碼要怎麼改?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務的 AI 客服,很高興為您服務! 您可以依下列步驟更改 e-Service 密碼: 1. 進入 e-Service,選擇「帳號管理」→「變更密碼」。 2. 輸入統一編號、帳號、舊密碼、新密碼及驗證碼。 3. 系統會發送簡訊通知並進行線上確認,請點選簡訊中的連結完成開通。 4. 完成後,密碼就會變更成功。 如有其他操作問題,歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53128 · 我要怎麼更改e-Service密碼?
      問題
      我要怎麼更改e-Service密碼?
      回答
      變更密碼需輸入統一編號、帳號、舊密碼、新密碼及驗證碼。系統會發送簡訊通知並進行線上確認。用戶點選連結確認開通完成後,密碼變更即完成。
    意料之外 (9)
    • ! know_53146 · 我要怎麼改e-Service密碼?
      問題
      我要怎麼改e-Service密碼?
      回答
      變更密碼路徑:e-Service→帳號管理→變更密碼
    • ! know_53130 · 為什麼我沒收到e-Service簡訊驗證?
      問題
      為什麼我沒收到e-Service簡訊驗證?
      回答
      請利用忘記密碼方式再次進行簡訊相關驗證方式申請
    • ! know_53149 · e-Service簡訊是怎麼發送的?
      問題
      e-Service簡訊是怎麼發送的?
      回答
      簡訊發送流程包括帳號新申請、帳號取消、忘記密碼和密碼變更。新申請帳號需提供密碼,取消帳號需簡訊提供退件。忘記密碼需驗證連結和OTP密碼。密碼變更完成後需簡訊提供密碼。退件原因可能是欄位key不正確或紙本資料不齊。
    • ! know_53129 · 忘記e-Service密碼怎麼辦?
      問題
      忘記e-Service密碼怎麼辦?
      回答
      忘記密碼後,系統會發送簡訊通知並進行線上確認。用戶需點選連結完成開通。申請密碼補發時,需輸入統一編號、帳號及驗證碼。若輸入錯誤,系統會提示重新輸入。收到簡訊後,請使用新密碼進行登入。
    • ! know_53127 · e-Service帳號要怎麼登入新系統?
      問題
      e-Service帳號要怎麼登入新系統?
      回答
      登入帳號需輸入統一編號、帳號、密碼及圖形驗證碼。第一次登入需強制更換密碼。每次登入需使用圖形驗證碼及OTP認證。
    • ! know_53170 · e-Service電子發票在哪裡可以查?
      問題
      e-Service電子發票在哪裡可以查?
      回答
      企業客戶可以使用公司統編、帳務聯絡人身份證字號及密碼登入系統查詢近六個月的電子發票。若忘記密碼,系統會以簡訊及email方式傳送新密碼。查詢電子發票無時間限制,但僅能查詢近六個月的資料。
    • ! know_53120 · e-Service 管理者帳號是什麼?
      問題
      e-Service 管理者帳號是什麼?
      回答
      管理者帳號管理包括變更密碼及管理子帳號。您可以在系統中新增或刪除帳號,並設定各帳號的功能權限。所有操作都會記錄在系統使用紀錄中,方便日後查詢。
    • ! know_53125 · e-Service管理者帳號有哪些簡易功能?
      問題
      e-Service管理者帳號有哪些簡易功能?
      回答
      簡易功能是帳號申請完成後可先登入之提前體驗功能,您會收到一組暫時密碼,暫時密碼僅保留14天。系統將於收到正本申請書後才會開通全功能。
    • ! know_53148 · 怎麼查看e-Service系統使用紀錄?
      問題
      怎麼查看e-Service系統使用紀錄?
      回答
      基本資料路徑:e-Service→帳號管理→系統使用紀錄
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆內容完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務的 AI 客服,很高興為您服務! 您可以依下列步驟更改 e-Service 密碼: 1. 進入 e-Service,選擇「帳號管理」→「變更密碼」。 2. 輸入統一編號、帳號、舊密碼、新密碼及驗證碼。 3. 系統會發送簡訊通知並進行線上確認,請點選簡訊中的連結完成開通。 4. 完成後,密碼就會變更成功。 如有其他操作問題,歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 變更密碼需輸入統一編號、帳號、舊密碼、新密碼及驗證碼
    • 系統會發送簡訊通知並進行線上確認
    • 密碼變更即完成
    II 重要限制 w 30%
    • 用戶點選連結確認開通完成後
    Judge 推理
    這個回答完整地涵蓋了變更密碼的所有必要步驟,並且提供了正確的資訊,符合用戶的需求。
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
88.9%
[66.7% – 100.0%] · n=9
F1 85.2% · 召回 88.9% · 精確 83.3%
9 / 9 適用
用對工具 召回
tool_usage
77.8%
[44.4% – 100.0%] · n=9
F1 77.8% · 召回 77.8% · 精確 77.8%
9 / 9 適用
答得到位 平均
answer_quality
50.7%
[38.9% – 64.1%] · n=9
9 / 9 適用
  • 案例 A159F186

    你們的粉絲團是哪個?

    已完成
    第 1 次嘗試 · 已完成 33090ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的粉絲團是哪個?
    BOT馬上為您找找看相關內容 📋 根據我的了解,目前沒有查詢到台灣大企業服務的粉絲團相關資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 602 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 我們的粉絲團在 Facebook
    • 粉絲團網址是 https://www.facebook.com/RaccoonAI
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,目前沒有查詢到台灣大企業服務的粉絲團相關資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們的粉絲團在 Facebook
    • 粉絲團網址是 https://www.facebook.com/RaccoonAI
    Judge 推理
    回覆未能提供粉絲團的具體資訊,且未遵循語言一致性規則,導致回答不完整。
  • 案例 B950823D

    這個髮片的功能和價格是多少?

    pending

    等候 orchestrator 處理此案例…

  • 案例 0363114B

    訂單查詢要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 41062ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單查詢要怎麼做?
    BOT馬上為您找找看相關內容 📋 您好,我是台灣大企業服務的客服助理,很高興為您服務! 如果您想查詢訂單相關資訊,請問您是要查詢「e-Service產品資訊」、「申請案件的簽核進度」還是「發票資料」呢?目前有以下幾種查詢方式: 1. 查詢e-Service產品資訊:需先登入,輸入用戶編號、電路編號或電話號碼即可查詢公司申辦的所有產品。 2. 查詢申請案件的簽核進度:可透過iPortal - EBAS電子簽核系統,在個人表單專區查詢申請紀錄並點選案件編號查看流程。 3. 查詢發票資料:需輸入載具號碼和統一編號,查詢條件限制在十二個月內。 請問您需要哪一種訂單相關查詢?或有其他特定需求嗎?

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 603 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    66.7%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    70.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 請提供訂購姓名與聯絡電話
    II 重要
    0.0% · w 30%
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是台灣大企業服務的客服助理,很高興為您服務! 如果您想查詢訂單相關資訊,請問您是要查詢「e-Service產品資訊」、「申請案件的簽核進度」還是「發票資料」呢?目前有以下幾種查詢方式: 1. 查詢e-Service產品資訊:需先登入,輸入用戶編號、電路編號或電話號碼即可查詢公司申辦的所有產品。 2. 查詢申請案件的簽核進度:可透過iPortal - EBAS電子簽核系統,在個人表單專區查詢申請紀錄並點選案件編號查看流程。 3. 查詢發票資料:需輸入載具號碼和統一編號,查詢條件限制在十二個月內。 請問您需要哪一種訂單相關查詢?或有其他特定需求嗎?
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供訂購姓名與聯絡電話
    II 重要限制 w 30%
    • 如果找到多個相關訂單,我會邏輯地合併這些訂單的資訊
    Judge 推理
    回覆中未詢問用戶的訂購姓名與聯絡電話,未能滿足查詢訂單的基本要求,因此在核心內容上得分為零。雖然提供了多種查詢方式,但未能合併相關訂單資訊,導致完整性得分偏低。
  • 案例 A1CAA8CF

    我的訂單查詢有沒有找到啊?

    已完成
    第 1 次嘗試 · 已完成 28108ms
    腳本進度 · 訂單查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ● 已呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → shopline_search_orders
    USER我的訂單查詢有沒有找到啊?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務的 AI 客服助理。很抱歉,目前沒有找到與您的查詢相關的訂單資訊。請問您可以提供更詳細的訂單編號、手機號碼或下單時使用的電子郵件嗎?我會協助您再次查詢,謝謝!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 603 · 訂單查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • shopline_search_orders
    TP 1
    FP 0
    FN 0

    回答品質

    83.3%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 我現在幫你查詢訂單
    II 重要
    30.0% · w 30%
    • 如果沒有找到相關訂單,我會提供客服查詢的選項
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務的 AI 客服助理。很抱歉,目前沒有找到與您的查詢相關的訂單資訊。請問您可以提供更詳細的訂單編號、手機號碼或下單時使用的電子郵件嗎?我會協助您再次查詢,謝謝!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我現在幫你查詢訂單
    II 重要限制 w 30%
    • 如果沒有找到相關訂單,我會提供客服查詢的選項
    Judge 推理
    這個回覆在相關性上表現良好,因為它回應了用戶的查詢並提供了進一步的協助。不過,回覆缺少了提供客服查詢選項的部分,因此在完整性上得分較低。
  • 案例 37E52EDB

    我想知道你們的退換貨政策是什麼?

    已完成
    第 1 次嘗試 · 已完成 30303ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想知道你們的退換貨政策是什麼?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到明確的退換貨政策相關資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 602 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 在收到商品後 7 天內可申請退換貨
    • 請確保商品未使用且包裝完整
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到明確的退換貨政策相關資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 在收到商品後 7 天內可申請退換貨
    • 請確保商品未使用且包裝完整
    III 補充說明 w 10%
    • 建議您跟真人客服確認一下喔
    Judge 推理
    回覆未能提供正確的退換貨政策,且錯誤地聲稱沒有相關資訊。雖然有提到建議聯繫客服,但未涵蓋核心的退換貨政策要點。
    錯誤陳述 (1)
    • 目前沒有查詢到明確的退換貨政策相關資訊
  • 案例 640CA304

    最近有什麼活動的優惠或報名資訊嗎?

    已完成
    第 1 次嘗試 · 已完成 40409ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶功能和價格 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER最近有什麼活動的優惠或報名資訊嗎?
    BOT馬上為您找找看相關內容 📋 您好,我是台灣大企業服務,很高興為您提供協助! 目前優惠活動相關資訊如下: - 網內/網外/市話/上網皆有優惠,建議您聯繫業務專員報價。 - 手機也有額外優惠,並可依貴公司需求客製化不同程度的優惠方案。 - 其他優惠內容將由專員為您報價。您可以撥打809或0809-000-809,由客服人員協助後,業務專員會與您聯繫報價。 - 若您是個人用戶,也可線上申辦: - 網頁版:https://twm5g.co/7T803 - 手機板:https://twm5g.co/5y5Ys 如需進一步了解特定活動或想直接報名,請告訴我您的需求或想參加的活動類型,我可以幫您查詢更詳細的資訊!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 602 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    40.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 目前的活動包括報名優惠和抽獎活動
    II 重要
    III 補充
    • 想知道更多具體內容或報名的方式嗎
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是台灣大企業服務,很高興為您提供協助! 目前優惠活動相關資訊如下: - 網內/網外/市話/上網皆有優惠,建議您聯繫業務專員報價。 - 手機也有額外優惠,並可依貴公司需求客製化不同程度的優惠方案。 - 其他優惠內容將由專員為您報價。您可以撥打809或0809-000-809,由客服人員協助後,業務專員會與您聯繫報價。 - 若您是個人用戶,也可線上申辦: - 網頁版:https://twm5g.co/7T803 - 手機板:https://twm5g.co/5y5Ys 如需進一步了解特定活動或想直接報名,請告訴我您的需求或想參加的活動類型,我可以幫您查詢更詳細的資訊!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 目前的活動包括報名優惠和抽獎活動
    III 補充說明 w 10%
    • 想知道更多具體內容或報名的方式嗎
    Judge 推理
    這個回覆未能正確回答用戶的問題,提供了不相關的優惠資訊,且缺少了關於報名優惠和抽獎活動的具體內容。
    錯誤陳述 (1)
    • 提供了不相關的優惠資訊,未能正確回應用戶的查詢
  • 案例 2C22A2A0

    為什麼你們的查詢都短於 10 個字就會觸發通用查詢啊?

    已完成
    第 1 次嘗試 · 已完成 32805ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER為什麼你們的查詢都短於 10 個字就會觸發通用查詢啊?
    BOT稍等一下我來幫您查詢 💡 根據我的了解,目前沒有直接說明「查詢短於 10 個字就會觸發通用查詢」的原因。不過,若您想進一步了解相關查詢規則或系統設計細節,建議您跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 602 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    46.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 任何少於 10 個字的查詢都會直接觸發通用查詢
    II 重要
    III 補充
    0.0% · w 10%
    AI 回覆
    稍等一下我來幫您查詢 💡 根據我的了解,目前沒有直接說明「查詢短於 10 個字就會觸發通用查詢」的原因。不過,若您想進一步了解相關查詢規則或系統設計細節,建議您跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 任何少於 10 個字的查詢都會直接觸發通用查詢
    III 補充說明 w 10%
    • 如果你還有其他疑問,隨時可以問
    Judge 推理
    回覆中未正確回答用戶的問題,缺少了關於查詢短於 10 個字會觸發通用查詢的具體說明,且有誤導性陳述。
    錯誤陳述 (1)
    • 根據我的了解,目前沒有直接說明「查詢短於 10 個字就會觸發通用查詢」的原因
  • 案例 18CA66F1

    我的訂單目前狀態怎麼樣?

    已完成
    第 1 次嘗試 · 已完成 45375ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我的訂單目前狀態怎麼樣?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務,很高興為您服務! 若您想查詢訂單或申請中的產品進度,請先登入e-Service系統,系統會顯示貴公司目前申請中的產品進度列表,包括產品別、申請種類、申請書編號、用戶編號、服務頻寬、地址、申請日期、狀態及聯單號碼。進度會依據聯單提出日期排序,並顯示目前狀態。 如果您要查詢申請案件的簽核進度,可以透過iPortal - EBAS電子簽核系統,在個人表單專區查詢申請紀錄,點選案件編號即可查看流程。 如需更詳細的操作指引,歡迎告訴我您的需求類型(例如:產品進度、發票資料、繳款明細等),我可以提供更精確的說明!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 603 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 請提供您的訂單資訊,以便我幫您查詢目前的訂單狀態
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務,很高興為您服務! 若您想查詢訂單或申請中的產品進度,請先登入e-Service系統,系統會顯示貴公司目前申請中的產品進度列表,包括產品別、申請種類、申請書編號、用戶編號、服務頻寬、地址、申請日期、狀態及聯單號碼。進度會依據聯單提出日期排序,並顯示目前狀態。 如果您要查詢申請案件的簽核進度,可以透過iPortal - EBAS電子簽核系統,在個人表單專區查詢申請紀錄,點選案件編號即可查看流程。 如需更詳細的操作指引,歡迎告訴我您的需求類型(例如:產品進度、發票資料、繳款明細等),我可以提供更精確的說明!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請提供您的訂單資訊,以便我幫您查詢目前的訂單狀態
    Judge 推理
    回覆未能提供用戶所需的訂單狀態查詢,且缺少請求用戶提供訂單資訊的必要步驟,導致回答不完整。
  • 案例 F7311654

    退換貨怎麼辦

    已完成
    第 1 次嘗試 · 已完成 25743ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER退換貨怎麼辦
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,目前沒有直接關於「退換貨」的詳細流程說明。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 602 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    66.7%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 退換貨流程
    • 退款方式
    II 重要
    III 補充
    50.0% · w 10%
    • 建議聯絡客服進一步確認
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,目前沒有直接關於「退換貨」的詳細流程說明。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 退換貨的相關資訊包括退貨流程、退款方式
    III 補充說明 w 10%
    • 建議聯絡客服進一步確認
    Judge 推理
    回覆中提到沒有詳細的退換貨流程說明,未能提供用戶所需的具體資訊,且未完全遵循語言一致性規則。
  • 案例 F42BB029

    這款產品怎麼使用?

    已完成
    第 1 次嘗試 · 已完成 39905ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER這款產品怎麼使用?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是台灣大企業服務的 AI 客服,很高興為您服務! 關於「這款產品怎麼使用?」目前查詢到的產品相關使用方式主要針對 e-Service 平台,以下是常見操作說明: - 產品服務功能包括:產品查詢、產品列表、總號查詢、基本資料顯示、流量圖、產品申請及申請進度查詢。您可以在系統中查看所有申辦的產品,並查詢相關的基本資料和流量圖。申請進度查詢功能可讓您追蹤申請的最新狀態。 - 若需查詢產品資訊,需先登入系統,輸入用戶編號、電路編號或電話號碼即可查看公司已申辦的所有產品。 - 若要報修,請選擇產品、填寫電路編號、選擇問題分類並詳細描述問題,也可上傳問題截圖並填寫聯絡方式。 如果您指的是其他特定產品,請提供更明確的產品名稱或型號,我可以再為您查詢更詳細的使用方式!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 602 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    66.7%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    70.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 產品使用方式包括操作步驟和注意事項
    • 建議在第一次使用時仔細閱讀說明書
    • 確保安裝正確
    • 遵循使用技巧以獲得最佳效果
    II 重要
    III 補充
    0.0% · w 10%
    • 如果有任何疑問,可以隨時與真人客服聯繫確認
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是台灣大企業服務的 AI 客服,很高興為您服務! 關於「這款產品怎麼使用?」目前查詢到的產品相關使用方式主要針對 e-Service 平台,以下是常見操作說明: - 產品服務功能包括:產品查詢、產品列表、總號查詢、基本資料顯示、流量圖、產品申請及申請進度查詢。您可以在系統中查看所有申辦的產品,並查詢相關的基本資料和流量圖。申請進度查詢功能可讓您追蹤申請的最新狀態。 - 若需查詢產品資訊,需先登入系統,輸入用戶編號、電路編號或電話號碼即可查看公司已申辦的所有產品。 - 若要報修,請選擇產品、填寫電路編號、選擇問題分類並詳細描述問題,也可上傳問題截圖並填寫聯絡方式。 如果您指的是其他特定產品,請提供更明確的產品名稱或型號,我可以再為您查詢更詳細的使用方式!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 產品使用方式包括操作步驟和注意事項
    • 建議在第一次使用時仔細閱讀說明書
    • 確保安裝正確
    • 遵循使用技巧以獲得最佳效果
    III 補充說明 w 10%
    • 如果有任何疑問,可以隨時與真人客服聯繫確認
    Judge 推理
    回覆中提到的使用方式主要針對 e-Service 平台,未能涵蓋產品使用的具體操作步驟和注意事項,且缺少建議閱讀說明書的內容,導致完整性不足。
項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
88.9%
[66.7% – 100.0%] · n=9
F1 16.2% · 相關率 24.4% · 精確 8.9%
9 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
94.7%
[87.3% – 99.3%] · n=10
10 / 10 適用
  • 案例 C07F93E9

    簡易功能登入後可以做什麼?

    已完成
    第 1 次嘗試 · 已完成 22625ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER簡易功能登入後可以做什麼?
    BOT稍等一下我來幫您查詢 💡 您好,我是台灣大企業服務,很高興為您解答! 簡易功能登入後,您可以使用文件下載及其他系統連結等簡易功能。這些功能主要是讓帳號申請完成後,能先提前體驗部分服務。等收到正本申請書並完成審核後,才會開通全部功能。 如果您需要更詳細的操作說明或有其他相關問題,歡迎隨時告訴我!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53126 · e-Service管理者帳號怎麼簡單開通和登入?
      問題
      e-Service管理者帳號怎麼簡單開通和登入?
      回答
      簡易功能登入後,僅可使用文件下載及其他系統連結功能之簡易功能。
    意料之外 (9)
    • ! know_53125 · e-Service管理者帳號有哪些簡易功能?
      問題
      e-Service管理者帳號有哪些簡易功能?
      回答
      簡易功能是帳號申請完成後可先登入之提前體驗功能,您會收到一組暫時密碼,暫時密碼僅保留14天。系統將於收到正本申請書後才會開通全功能。
    • ! know_53121 · 我要怎麼申請e-Service管理者帳號?
      問題
      我要怎麼申請e-Service管理者帳號?
      回答
      申請e-Service管理者帳號需線上填妥資料包括公司名稱、統編、申請帳號號碼及帳號使用者的相關資料,填寫完成後列印申請書,於申請書用印大/小章並檢附公司最新版本設立或變更事項登記表及帳號使用者證件,郵寄正本申請書及證件資料至台灣固網客戶服務中心。我們收到正本後會檢核資料並開通帳號,並以互動式簡訊通知客戶。申請過程中會收到密碼,可先登入使用簡易功能。
    • ! know_53129 · 忘記e-Service密碼怎麼辦?
      問題
      忘記e-Service密碼怎麼辦?
      回答
      忘記密碼後,系統會發送簡訊通知並進行線上確認。用戶需點選連結完成開通。申請密碼補發時,需輸入統一編號、帳號及驗證碼。若輸入錯誤,系統會提示重新輸入。收到簡訊後,請使用新密碼進行登入。
    • ! know_53127 · e-Service帳號要怎麼登入新系統?
      問題
      e-Service帳號要怎麼登入新系統?
      回答
      登入帳號需輸入統一編號、帳號、密碼及圖形驗證碼。第一次登入需強制更換密碼。每次登入需使用圖形驗證碼及OTP認證。
    • ! know_53150 · 為什麼我無法登入e-Service?
      問題
      為什麼我無法登入e-Service?
      回答
      可能因為下述原因而無法登入: (1)您的帳號或密碼輸入錯誤,若您遺忘密碼,建議您重設密碼。 (2)您的帳號已連續五次輸入錯誤密碼,系統暫時鎖定您的帳戶,需重設密碼後即可正常登入。 (3)您的帳號已被暫停或關閉,可能因為您有欠款未繳,請洽台灣大哥大商務服務客服專線0809-000809或直銷業務。
    • ! know_53498 · 如何確認已成功登入『M+ 企業分機』?
      問題
      如何確認已成功登入『M+ 企業分機』?
      回答
      透過路徑:更多→企業分機設定。看到『勿干擾/指定轉接/發話號碼顯示/變更密碼』等即為登入成功;黑底需輸入帳密代表尚未登入。
    • ! know_53376 · 如果忘記使用網站密碼時,該如何進行?
      問題
      如果忘記使用網站密碼時,該如何進行?
      回答
      請至TWSC 官方網站點選登入完後點選忘記密碼即可,詳細步驟請參考此說明頁。https://docs.twcc.ai/docs/user-guides/tws-member-center/reset-tws-member-account-password
    • ! know_53372 · 如何申請TWSC服務?
      問題
      如何申請TWSC服務?
      回答
      您需先至 TWSC 官方網站註冊並完成認證後,再將註冊帳號填入申請書後,請負責業務協助進件。
    • ! know_53143 · e-Service管理者帳號要怎麼申請?
      問題
      e-Service管理者帳號要怎麼申請?
      回答
      新增帳號線上申請路徑:台灣大哥大官網→企業服務官網→右上角登入→客戶服務(e-Service)→加入會員
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆內容完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    • 僅可使用文件下載及其他系統連結功能之簡易功能
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是台灣大企業服務,很高興為您解答! 簡易功能登入後,您可以使用文件下載及其他系統連結等簡易功能。這些功能主要是讓帳號申請完成後,能先提前體驗部分服務。等收到正本申請書並完成審核後,才會開通全部功能。 如果您需要更詳細的操作說明或有其他相關問題,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 簡易功能登入後,僅可使用文件下載及其他系統連結功能之簡易功能
    Judge 推理
    回覆內容與使用者的問題相關,並且正確地描述了簡易功能登入後的可用功能,但未強調「僅可使用」的限制,因此在完整性上有所欠缺。
  • 案例 DF81721E

    轉接真人客服怎麼回覆?

    已完成
    第 1 次嘗試 · 已完成 42968ms
    腳本進度 · 轉接真人客服 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 轉接真人客服
    腳本規則
    - 線上客服/轉線上客服
    - 在線客服/轉在線客服
    - 真人客服/轉真人客服
    - 轉真人/找真人
    - Direct transfer request
    - Emotional escalation
    - Resolution failure
    
    轉接真人客服的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Acknowledge situation
    - Return transfer response in specified format
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER轉接真人客服怎麼回覆?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務的 AI 客服,很高興為您服務! 如果您想將對話轉接給真人客服,可以這樣回覆用戶:「我們有保留真人客服作為 AI 服務的輔助補位機制,若需要真人協助,請告知,我會為您轉接。」另外,AI 轉接到真人客服時,若企業端有宣告內容,大約需等待3秒;若無宣告內容,大約1秒即可完成切換。 如需更詳細的操作說明,也歡迎再詢問!

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆完全符合來源資料,並且遵循了回覆格式的要求,沒有任何虛構的聲明。

    回答品質

    66.7%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    70.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 轉接真人客服的回覆必須按照指定的格式返回
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務的 AI 客服,很高興為您服務! 如果您想將對話轉接給真人客服,可以這樣回覆用戶:「我們有保留真人客服作為 AI 服務的輔助補位機制,若需要真人協助,請告知,我會為您轉接。」另外,AI 轉接到真人客服時,若企業端有宣告內容,大約需等待3秒;若無宣告內容,大約1秒即可完成切換。 如需更詳細的操作說明,也歡迎再詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 轉接真人客服的回覆必須按照指定的格式返回
    Judge 推理
    回覆中提到的轉接方式並未按照指定格式返回,缺少了明確的格式要求,導致完整性不足。雖然提供了一些相關資訊,但未能完全符合問題要求。
  • 案例 54C75D07

    通話明細資訊提供多久的資料?

    已完成
    第 1 次嘗試 · 已完成 41631ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER通話明細資訊提供多久的資料?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務,很高興為您解答! 通話明細資訊可提供近一年帳單年月的資料,每次申請最多可查詢三個月區間的通話明細。如果您有臨時申請需求,申請後隔天中午後即可登入查詢與下載。如需取消申請,請於當天完成取消。 如果您還有其他相關問題,歡迎隨時告訴我!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53174 · e-Service單次通話明細怎麼申請?
      問題
      e-Service單次通話明細怎麼申請?
      回答
      提供用戶臨時申請通話明細資訊需求,請於服務申請後隔天中午後逕行登入查詢下載。如需取消該筆申請,請於當天進行取消。提供近一年帳單年月之通話明細資訊,每次申請最多提供三個月區間資訊。
    意料之外 (9)
    • ! know_53173 · e-Service通話明細怎麼申請?
      問題
      e-Service通話明細怎麼申請?
      回答
      提供近一年帳單年月的通話明細資訊,於服務設定後,請於次期出帳生效後逕行登入查詢及下載。
    • ! know_53163 · 怎麼查e-Service通話明細?
      問題
      怎麼查e-Service通話明細?
      回答
      通話明細查詢需登入系統,選擇帳單年月和列帳期間後,點選查詢按鈕即可查看。您可以查詢過去的通話明細,無時間限制。
    • ! know_53350 · AI語音質檢
      問題
      AI語音質檢
      回答
      客服通話直接轉文字紀錄,AI可針對敏感詞彙、客服應答的適切性進行全面檢核。不需像現在人工抽檢,無法全面且耗時。
    • ! know_53176 · 我要查e-Service發票資料,在哪裡?
      問題
      我要查e-Service發票資料,在哪裡?
      回答
      您可以在繳款三日後查詢並下載電子發票資料。系統提供近一年內開立的電子憑證資訊,每次申請最多提供三個月的區間資訊。您可以匯出所有勾選的憑證資訊,並下載最多20筆憑證圖檔。
    • ! know_53508 · 什麼是MVPN?
      問題
      什麼是MVPN?
      回答
      將用戶指定的行動門號(手機)與市話(桌機)結合成一個虛擬的專用群組,此群組下所有門號互撥時,可享優惠之通話費率,還有簡碼互撥功能。降低成本卻更有效率!不論是聯繫客戶、廠商,或是開發潛在商機,通話與上網都享專屬優惠資費。最新手機提供自由選擇,還能搭配資費輕鬆入手。不只節省溝通成本,還能清楚區分公私帳,管理更簡單。
    • ! know_53525 · 語音產品報價
      問題
      語音產品報價
      回答
      可以利用新增報價頁面上所提供的 " 查詢" 功能,輸入確認的資訊進行查詢或輸入群內網內外的費率
    • ! know_53563 · 什麼是「電信事業使用指定資料庫核對用戶身分查詢辦法」?
      問題
      什麼是「電信事業使用指定資料庫核對用戶身分查詢辦法」?
      回答
      1.Google搜尋公開資訊"電信事業使用指定資料庫核對用戶身分查詢辦法" 2.本辦法依詐欺犯罪危害防制條例第十九條第三項規定訂定之。
    • ! know_53382 · 安心Call的系統架構是什麼?有什麼好處?
      問題
      安心Call的系統架構是什麼?有什麼好處?
      回答
      使用 IVR (語音互動回應) 系統架構,可不必額外安裝任何App,撥打IVR 代表號即可使用,通話穩定性和音質比App 的VoIP 好
    • ! know_53184 · e-Service報修歷史紀錄怎麼看?
      問題
      e-Service報修歷史紀錄怎麼看?
      回答
      報修歷史紀錄可在ESP系統中查詢,預設查詢區間為一個月,最多可查詢一年內的資料。若需查詢超過一年的報修紀錄,請聯繫本公司客服。報修紀錄包含案件編號、報修方式、報修日期、產品、問題說明及結案日期等詳細資訊。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆內容完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務,很高興為您解答! 通話明細資訊可提供近一年帳單年月的資料,每次申請最多可查詢三個月區間的通話明細。如果您有臨時申請需求,申請後隔天中午後即可登入查詢與下載。如需取消申請,請於當天完成取消。 如果您還有其他相關問題,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 提供近一年帳單年月之通話明細資訊
    • 每次申請最多提供三個月區間資訊
    Judge 推理
    這個回答完全符合用戶的問題,提供了通話明細資訊的時間範圍和申請限制,且沒有錯誤的陳述。
  • 案例 1D25D85C

    請問碳管理平台是雲端架構嗎?

    已完成
    第 1 次嘗試 · 已完成 37060ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問碳管理平台是雲端架構嗎?
    BOT馬上為您找找看相關內容 📋 您好,我是台灣大企業服務,很高興為您解答! 碳管理平台是雲端架構。若您還有其他關於平台功能或部署方式的問題,歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53229 · 碳管理平台是雲端、地端部署,還是兩者皆有?
      問題
      碳管理平台是雲端、地端部署,還是兩者皆有?
      回答
      我們的平台為雲端架構。
    意料之外 (9)
    • ! know_53225 · 碳管理平台介紹?
      問題
      碳管理平台介紹?
      回答
      幫助企業合規實現淨零碳排目標
    • ! know_53233 · 碳管理平台與市面上的其他解決方案有何不同?
      問題
      碳管理平台與市面上的其他解決方案有何不同?
      回答
      我們的平台具備高度彈性,能即時因應法規變動。客戶也能更自由地上傳與調整報告模板格式,這是多數碳會計軟體無法提供的彈性。
    • ! know_53226 · 碳管理系統為企業提供哪些核心功能?
      問題
      碳管理系統為企業提供哪些核心功能?
      回答
      此平台是一個可自訂的工具,可協助企業進行碳排放報告,整合所有佐證資料、報告計算與視覺化呈現,集中於同一平台中。
    • ! know_53236 · 你們的顧問服務如何與碳管理系統配合運作?
      問題
      你們的顧問服務如何與碳管理系統配合運作?
      回答
      我們的顧問合作夥伴對平台運作相當熟悉,能直接在系統中提供報告相關服務,確保碳數據管理的一致性與準確性。
    • ! know_53238 · 企業該如何判斷你們的碳管理系統是否適合他們的需求?
      問題
      企業該如何判斷你們的碳管理系統是否適合他們的需求?
      回答
      我們的平台具備高度彈性,可滿足多數企業的需求。歡迎留下聯絡資訊,我們的業務代表將主動聯繫,了解您的實際情況並提供建議。
    • ! know_53232 · 使用者是否可以試算表等其他系統匯入資料到你們的碳管理系統中?
      問題
      使用者是否可以試算表等其他系統匯入資料到你們的碳管理系統中?
      回答
      可以,資料可透過手動上傳或 API 匯入。平台也支援連結電費、水費帳單模組及地圖資料整合,提升報告的完整性與效率。
    • ! know_53242 · 新客戶該如何開始使用你們的碳管理系統及服務,你們是否提供線上資源或文件,協助客戶有效使用軟體?
      問題
      新客戶該如何開始使用你們的碳管理系統及服務,你們是否提供線上資源或文件,協助客戶有效使用軟體?
      回答
      是的,我們的平台上提供了各種訓練教材供使用者參考。
    • ! know_53230 · 碳管理系統軟體支援哪些溫室氣體排放範疇(Scope 1、Scope 2、Scope 3)?
      問題
      碳管理系統軟體支援哪些溫室氣體排放範疇(Scope 1、Scope 2、Scope 3)?
      回答
      我們的平台具備高度彈性,支援所有排放範疇(Scope 1、2、3)及不同盤查邊界,並可延伸至碳足跡計算與供應鏈管理模組。
    • ! know_53239 · 碳管理系統是否提供軟體的免費試用或示範?
      問題
      碳管理系統是否提供軟體的免費試用或示範?
      回答
      請留下您的聯絡資訊,我們的業務代表將與您聯繫,安排示範或討論試用方案。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到碳管理平台是雲端架構,這一點在來源中得到了支持,因此該句子被判定為有根據。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是台灣大企業服務,很高興為您解答! 碳管理平台是雲端架構。若您還有其他關於平台功能或部署方式的問題,歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們的平台為雲端架構
    Judge 推理
    這個回答完全符合用戶的問題,並且正確地回答了碳管理平台是雲端架構的事實,沒有遺漏任何關鍵點。
  • 案例 C96AC8DA

    資料中心服務可以試用嗎?

    已完成
    第 1 次嘗試 · 已完成 34362ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER資料中心服務可以試用嗎?
    BOT正在為您搜尋最新資料 ⏳ 資料中心服務因涉及機櫃空間、電力配置、網路接取及安全維護等多項專業資源,均需事先建置與專屬規劃,因此無法提供試用方案。不過,我們可以安排現場參觀與技術規劃說明,讓您充分了解機房設施與服務水準,並依需求提供客製化解決方案,確保滿足企業長期營運需求。如果您有興趣安排參觀或進一步了解,歡迎隨時告訴我!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53473 · 我可以試用資料中心服務嗎?
      問題
      我可以試用資料中心服務嗎?
      回答
      資料中心服務因涉及機櫃空間、電力配置、網路接取及安全維護等多項專業資源,均需事先建置與專屬規劃,因此無法提供試用方案。不過,我們可安排現場參觀與技術規劃說明,讓您充分了解機房設施與服務水準,並依需求提供客製化解決方案,確保滿足企業長期營運需求。
    意料之外 (9)
    • ! know_53470 · 如何查詢帳單資料中心金額?
      問題
      如何查詢帳單資料中心金額?
      回答
      從官網的固網帳務服務介面進行查詢(https://www.twmsolution.com/ebgp/service)
    • ! know_53471 · 如何線上申辦資料中心服務?
      問題
      如何線上申辦資料中心服務?
      回答
      1.請留下您的聯絡人姓名、電話與電子郵件。 2.提供欲申裝的服務地址。 3.我們將由專人與您聯繫,進一步確認需求並提供報價。
    • ! know_53472 · 請介紹資料中心這個產品
      問題
      請介紹資料中心這個產品
      回答
      全台擁有 8 座資料中心,通過多項國際級認證,並串連全球超大頻寬網路,為企業打造高速、穩定且安全的運行環境。2024 年率先達成 RE100 綠能機房承諾,不僅確保企業營運不中斷,更協助客戶落實國際 ESG 永續目標,兼顧效能與環境責任。
    • ! know_53145 · 我要怎麼查詢我的e-Service基本資料?
      問題
      我要怎麼查詢我的e-Service基本資料?
      回答
      基本資料路徑:e-Service→帳號管理→基本資料查詢
    • ! know_53373 · 如何進入 TWSC 官方網站會員中心?
      問題
      如何進入 TWSC 官方網站會員中心?
      回答
      您可從TWSC官方網站,選擇「會員中心」,輸入帳密即可進入。進入會員中心後可檢視相關專案的「用量資訊」、「額度資訊」等資訊。
    • ! know_53131 · 我的e-Service資料要怎麼修改?
      問題
      我的e-Service資料要怎麼修改?
      回答
      基本資料僅為查詢不能變更。若要異動資料,請直接將原帳號申請取消並重新申請新帳號
    • ! know_53320 · 語音客服是否可提供PoC或測試實例?
      問題
      語音客服是否可提供PoC或測試實例?
      回答
      目前可提供內部測試環境供客戶測試,如客戶需導入企業內部資料,則另以個案討論
    • ! know_53176 · 我要查e-Service發票資料,在哪裡?
      問題
      我要查e-Service發票資料,在哪裡?
      回答
      您可以在繳款三日後查詢並下載電子發票資料。系統提供近一年內開立的電子憑證資訊,每次申請最多提供三個月的區間資訊。您可以匯出所有勾選的憑證資訊,並下載最多20筆憑證圖檔。
    • ! know_53155 · 我要怎麼查詢我的e-Service客戶基本資料?
      問題
      我要怎麼查詢我的e-Service客戶基本資料?
      回答
      顯示的資料包括產品名稱、電話號碼、用戶編號、申請人姓名、資費方案、合約到期日、客戶帳號及帳單地址。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料的內容,並且所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    100.0% · w 10%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 資料中心服務因涉及機櫃空間、電力配置、網路接取及安全維護等多項專業資源,均需事先建置與專屬規劃,因此無法提供試用方案。不過,我們可以安排現場參觀與技術規劃說明,讓您充分了解機房設施與服務水準,並依需求提供客製化解決方案,確保滿足企業長期營運需求。如果您有興趣安排參觀或進一步了解,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 資料中心服務無法提供試用方案
    • 可安排現場參觀與技術規劃說明
    II 重要限制 w 30%
    • 涉及機櫃空間、電力配置、網路接取及安全維護等多項專業資源,均需事先建置與專屬規劃
    III 補充說明 w 10%
    • 依需求提供客製化解決方案,確保滿足企業長期營運需求
    Judge 推理
    這個回答完全符合用戶的查詢,清楚地說明了資料中心服務無法提供試用方案的原因,並且提供了現場參觀的選項,涵蓋了所有關鍵點,且沒有錯誤的陳述。
  • 案例 37694D3B

    報價系統可以提供報價單嗎

    已完成
    第 1 次嘗試 · 已完成 37519ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER報價系統可以提供報價單嗎
    BOT稍等一下我來幫您查詢 💡 根據我的了解,報價系統是否可以提供報價單,需依照客戶管理規範,新增Booking客戶必須經由經規窗口審核同意後,才能成為表列客戶。營管無此權限協助新增。如果您需要查看彼此已建立的報價單及專評,請Mail提供客戶名稱、統編及需求說明給營管窗口(Teresa及Charlotte)以開立共同經營權限。 如需更詳細操作或有其他需求,建議您與相關窗口或真人客服確認喔!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53528 · 報價系統可以提供潛在用戶報價單嗎 ?
      問題
      報價系統可以提供潛在用戶報價單嗎 ?
      回答
      表列客戶管理規範,新增Booking 客戶需經由經規窗口審核同意後,才能成為表列客戶.營管無此權限可協助新增。
    意料之外 (9)
    • ! know_53292 · 是否有統計近期常問問題的功能
      問題
      是否有統計近期常問問題的功能
      回答
      目前尚未提供常見問題統計功能。
    • ! know_53354 · 「EASM曝險評估服務」是否有免費的POC方案?
      問題
      「EASM曝險評估服務」是否有免費的POC方案?
      回答
      有的,申請EASM曝險評估服務POC方案會提供「1份曝險評估簡易版報告」。
    • ! know_53232 · 使用者是否可以試算表等其他系統匯入資料到你們的碳管理系統中?
      問題
      使用者是否可以試算表等其他系統匯入資料到你們的碳管理系統中?
      回答
      可以,資料可透過手動上傳或 API 匯入。平台也支援連結電費、水費帳單模組及地圖資料整合,提升報告的完整性與效率。
    • ! know_53272 · 是否有知名客戶或案例分享?
      問題
      是否有知名客戶或案例分享?
      回答
      有多產業案例,詳情請洽業務代表索取簡報。
    • ! know_53525 · 語音產品報價
      問題
      語音產品報價
      回答
      可以利用新增報價頁面上所提供的 " 查詢" 功能,輸入確認的資訊進行查詢或輸入群內網內外的費率
    • ! know_53338 · 摘要範本是否可銷售?
      問題
      摘要範本是否可銷售?
      回答
      摘要範本屬於TWM智慧財產權,故不提供銷售
    • ! know_53530 · 因應共同經營需求,如何查看彼此已建立的報價單及專評
      問題
      因應共同經營需求,如何查看彼此已建立的報價單及專評
      回答
      請Mail 提供客戶名稱、統編及需求說明給營管窗口( Teresa 及Charlotte) 開立共同經營權限
    • ! know_53263 · 是否提供客服或新手訓練?
      問題
      是否提供客服或新手訓練?
      回答
      台灣大哥大提供24小時客服,若遇技術問題,工作日內2天內將由服務人員聯繫。
    • ! know_53356 · 「EASM曝險評估服務」有提供報告解說服務嗎?
      問題
      「EASM曝險評估服務」有提供報告解說服務嗎?
      回答
      EASM曝險評估服務標準方案中皆有含報告解說服務,若有額外報告解說服務亦有提供單次計費的加購服務。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆內容完全符合來源資料,所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    86.7%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 根據我的了解,報價系統是否可以提供報價單,需依照客戶管理規範,新增Booking客戶必須經由經規窗口審核同意後,才能成為表列客戶。營管無此權限協助新增。如果您需要查看彼此已建立的報價單及專評,請Mail提供客戶名稱、統編及需求說明給營管窗口(Teresa及Charlotte)以開立共同經營權限。 如需更詳細操作或有其他需求,建議您與相關窗口或真人客服確認喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 新增Booking 客戶需經由經規窗口審核同意後,才能成為表列客戶
    II 重要限制 w 30%
    • 營管無此權限可協助新增
    Judge 推理
    這個回答針對報價系統是否可以提供報價單的問題,提供了相關的管理規範,並且正確地指出了營管的權限限制。雖然回答中包含了一些額外的建議,但未完全符合預期的回答風格,導致完整性得分略低。
  • 案例 C172C958

    我可以透過什麼方式提出需求?

    已完成
    第 1 次嘗試 · 已完成 26635ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我可以透過什麼方式提出需求?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是台灣大企業服務的客服助理。您可以透過以下方式提出需求: - 企業服務官網的「聯絡我們」頁面 - 您的企業業務窗口 提出需求後,將有專人協助您處理與說明。如需更詳細的操作指引,也歡迎告訴我您的具體需求內容!

    知識檢索

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • know_53424 · 「IOTBS」物聯網服務月租費多少?
      問題
      「IOTBS」物聯網服務月租費多少?
      回答
      基本上會依客戶需求進行客製化設定,可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    意料之外 (10)
    • ! know_53507 · 企業如何申辦「MDVPN」?
      問題
      企業如何申辦「MDVPN」?
      回答
      可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    • ! know_53425 · 企業如何申辦「IOTBS」物聯網服務?
      問題
      企業如何申辦「IOTBS」物聯網服務?
      回答
      可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    • ! know_53390 · 企業客戶應如何申辦「全球車聯網管理平台」物聯網服務?
      問題
      企業客戶應如何申辦「全球車聯網管理平台」物聯網服務?
      回答
      可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    • ! know_53435 · 企業如何申辦「精準定位服務」?
      問題
      企業如何申辦「精準定位服務」?
      回答
      可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    • ! know_53549 · 如何填寫手機需求表?
      問題
      如何填寫手機需求表?
      回答
      請到以下路徑: \\tccfs18\Product\index,7.行動類產品>手機保留需求表(空白表單)
    • ! know_53387 · 「全球車聯網管理平台」每月傳輸量每月多少GB
      問題
      「全球車聯網管理平台」每月傳輸量每月多少GB
      回答
      基本上會依客戶需求進行客製化設定,可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    • ! know_53445 · 企業如何申辦「車隊大管家Plus」服務?
      問題
      企業如何申辦「車隊大管家Plus」服務?
      回答
      可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    • ! know_53389 · 「全球車聯網管理平台」物聯網服務月租費多少?
      問題
      「全球車聯網管理平台」物聯網服務月租費多少?
      回答
      基本上會依客戶需求進行客製化設定,可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    • ! know_53299 · 台灣大智能客服小麥現在有什麼機制確認用戶的需求已經完成了?
      問題
      台灣大智能客服小麥現在有什麼機制確認用戶的需求已經完成了?
      回答
      目前透過兩種方式確認客戶需求已處理完成 1. 由系統自動偵測,如用戶於設定時間內皆未進一步回應,將自動結束對話,並判定已處理完成。 2. 如用戶未透過小麥轉接至真人客服,也將判定為已處理完成。
    • ! know_53422 · 「IOTBS」每月傳輸量每月多少GB
      問題
      「IOTBS」每月傳輸量每月多少GB
      回答
      基本上會依客戶需求進行客製化設定,可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    TP 0
    FP 10
    FN 1

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,所有提出的需求方式都在來源中有明確支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是台灣大企業服務的客服助理。您可以透過以下方式提出需求: - 企業服務官網的「聯絡我們」頁面 - 您的企業業務窗口 提出需求後,將有專人協助您處理與說明。如需更詳細的操作指引,也歡迎告訴我您的具體需求內容!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以透過企業服務官網的「聯絡我們」功能提出需求
    • 可以透過企業業務窗口提出需求
    III 補充說明 w 10%
    • 將由專人為您協助後續服務及說明
    Judge 推理
    這個回答完全符合用戶的需求,提供了兩種提出需求的方式,並且補充了專人協助的說明,內容完整且正確。
  • 案例 BE70FAA5

    訂單上線完成後,為何會出現人工何單?

    已完成
    第 1 次嘗試 · 已完成 30229ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單上線完成後,為何會出現人工何單?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務,很高興為您解答。 訂單上線完成後會出現人工何單,主要原因有: 1. 手機價格異動(例如:折價) 2. 賖銷先出貨 遇到這些情形時,需檢附ERP訂單並經過營管簽核後才能出貨。若您有其他相關問題,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53546 · 訂單上線完成後,為何會出現人工何單?
      問題
      訂單上線完成後,為何會出現人工何單?
      回答
      1.手機價格異動(如:折價) 2.賖銷先出貨 以上情形需檢附ERP訂單及簽核由營管核單即可出貨。
    意料之外 (9)
    • ! know_53555 · 申請MRG/上網服務, 要投件華信光世代/ADSL電路, 如何填寫IP
      問題
      申請MRG/上網服務, 要投件華信光世代/ADSL電路, 如何填寫IP
      回答
      完成上線後, 以SUB至系統查詢IP
    • ! know_53299 · 台灣大智能客服小麥現在有什麼機制確認用戶的需求已經完成了?
      問題
      台灣大智能客服小麥現在有什麼機制確認用戶的需求已經完成了?
      回答
      目前透過兩種方式確認客戶需求已處理完成 1. 由系統自動偵測,如用戶於設定時間內皆未進一步回應,將自動結束對話,並判定已處理完成。 2. 如用戶未透過小麥轉接至真人客服,也將判定為已處理完成。
    • ! know_53323 · 話後重點摘要產出的時間
      問題
      話後重點摘要產出的時間
      回答
      5000多字大概要轉8秒, 目前TWM每通客服電話普遍落在3分鐘內的話,可以在5秒內完成
    • ! know_53177 · 我要查e-Service單次的發票資料,在哪裡?
      問題
      我要查e-Service單次的發票資料,在哪裡?
      回答
      查詢單次發票需要輸入載具號碼和統一編號,查詢條件限制在十二個月內的資料。完成查詢後,您可以下載發票資料。
    • ! know_53527 · 如果非既有表列客戶,如何執行行動訊號調查或行動訊號改善作業申請
      問題
      如果非既有表列客戶,如何執行行動訊號調查或行動訊號改善作業申請
      回答
      1.請Mail 提供客戶名稱、統編及需求說明給營管窗口( Teresa 及Charlotte) 開立特殊權限 2.權限設定完成後執行行動訊號調查或行動訊號改善作業時,請自行輸入客戶名稱及統編。
    • ! know_53129 · 忘記e-Service密碼怎麼辦?
      問題
      忘記e-Service密碼怎麼辦?
      回答
      忘記密碼後,系統會發送簡訊通知並進行線上確認。用戶需點選連結完成開通。申請密碼補發時,需輸入統一編號、帳號及驗證碼。若輸入錯誤,系統會提示重新輸入。收到簡訊後,請使用新密碼進行登入。
    • ! know_53350 · AI語音質檢
      問題
      AI語音質檢
      回答
      客服通話直接轉文字紀錄,AI可針對敏感詞彙、客服應答的適切性進行全面檢核。不需像現在人工抽檢,無法全面且耗時。
    • ! know_53348 · AI語音核身
      問題
      AI語音核身
      回答
      消費者可直接以語音與AI客服完成身份核實,不再需要麻煩地一直按鍵盤,聽著無聊和重複的電話錄音。
    • ! know_53314 · AI轉真人客服切換等待時間?
      問題
      AI轉真人客服切換等待時間?
      回答
      若企業端客服有宣告/宣讀內容,大約3秒;若無宣告/宣讀內容,大約1秒
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全根據來源材料,所有的事實陳述都有來源支持,因此沒有虛構的內容。回覆中的每一個事實性陳述都可以引用來源,符合來源的內容。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務,很高興為您解答。 訂單上線完成後會出現人工何單,主要原因有: 1. 手機價格異動(例如:折價) 2. 賖銷先出貨 遇到這些情形時,需檢附ERP訂單並經過營管簽核後才能出貨。若您有其他相關問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 訂單上線完成後,可能會出現人工何單的原因有兩個
    • 一是手機價格異動,如折價
    • 二是賖銷先出貨
    II 重要限制 w 30%
    • 以上情形需檢附ERP訂單及簽核由營管核單即可出貨
    Judge 推理
    這個回答完全針對用戶的問題,並且涵蓋了所有關鍵點,沒有遺漏任何重要資訊,且所有的事實陳述都是正確的。
  • 案例 85FCDF72

    請問我要怎麼改e-Service密碼?

    已完成
    第 1 次嘗試 · 已完成 30620ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我要怎麼改e-Service密碼?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務,很高興為您服務! 您可以依下列步驟更改 e-Service 密碼: 1. 進入 e-Service,選擇「帳號管理」→「變更密碼」。 2. 輸入統一編號、帳號、舊密碼、新密碼及驗證碼。 3. 系統會發送簡訊通知,並進行線上確認。 4. 點選簡訊中的連結完成確認後,密碼變更即完成。 如有其他操作問題,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53146 · 我要怎麼改e-Service密碼?
      問題
      我要怎麼改e-Service密碼?
      回答
      變更密碼路徑:e-Service→帳號管理→變更密碼
    意料之外 (9)
    • ! know_53128 · 我要怎麼更改e-Service密碼?
      問題
      我要怎麼更改e-Service密碼?
      回答
      變更密碼需輸入統一編號、帳號、舊密碼、新密碼及驗證碼。系統會發送簡訊通知並進行線上確認。用戶點選連結確認開通完成後,密碼變更即完成。
    • ! know_53130 · 為什麼我沒收到e-Service簡訊驗證?
      問題
      為什麼我沒收到e-Service簡訊驗證?
      回答
      請利用忘記密碼方式再次進行簡訊相關驗證方式申請
    • ! know_53149 · e-Service簡訊是怎麼發送的?
      問題
      e-Service簡訊是怎麼發送的?
      回答
      簡訊發送流程包括帳號新申請、帳號取消、忘記密碼和密碼變更。新申請帳號需提供密碼,取消帳號需簡訊提供退件。忘記密碼需驗證連結和OTP密碼。密碼變更完成後需簡訊提供密碼。退件原因可能是欄位key不正確或紙本資料不齊。
    • ! know_53129 · 忘記e-Service密碼怎麼辦?
      問題
      忘記e-Service密碼怎麼辦?
      回答
      忘記密碼後,系統會發送簡訊通知並進行線上確認。用戶需點選連結完成開通。申請密碼補發時,需輸入統一編號、帳號及驗證碼。若輸入錯誤,系統會提示重新輸入。收到簡訊後,請使用新密碼進行登入。
    • ! know_53127 · e-Service帳號要怎麼登入新系統?
      問題
      e-Service帳號要怎麼登入新系統?
      回答
      登入帳號需輸入統一編號、帳號、密碼及圖形驗證碼。第一次登入需強制更換密碼。每次登入需使用圖形驗證碼及OTP認證。
    • ! know_53170 · e-Service電子發票在哪裡可以查?
      問題
      e-Service電子發票在哪裡可以查?
      回答
      企業客戶可以使用公司統編、帳務聯絡人身份證字號及密碼登入系統查詢近六個月的電子發票。若忘記密碼,系統會以簡訊及email方式傳送新密碼。查詢電子發票無時間限制,但僅能查詢近六個月的資料。
    • ! know_53120 · e-Service 管理者帳號是什麼?
      問題
      e-Service 管理者帳號是什麼?
      回答
      管理者帳號管理包括變更密碼及管理子帳號。您可以在系統中新增或刪除帳號,並設定各帳號的功能權限。所有操作都會記錄在系統使用紀錄中,方便日後查詢。
    • ! know_53125 · e-Service管理者帳號有哪些簡易功能?
      問題
      e-Service管理者帳號有哪些簡易功能?
      回答
      簡易功能是帳號申請完成後可先登入之提前體驗功能,您會收到一組暫時密碼,暫時密碼僅保留14天。系統將於收到正本申請書後才會開通全功能。
    • ! know_53148 · 怎麼查看e-Service系統使用紀錄?
      問題
      怎麼查看e-Service系統使用紀錄?
      回答
      基本資料路徑:e-Service→帳號管理→系統使用紀錄
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全依據來源資料,提供了正確的步驟來更改e-Service密碼,且所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是台灣大企業服務,很高興為您服務! 您可以依下列步驟更改 e-Service 密碼: 1. 進入 e-Service,選擇「帳號管理」→「變更密碼」。 2. 輸入統一編號、帳號、舊密碼、新密碼及驗證碼。 3. 系統會發送簡訊通知,並進行線上確認。 4. 點選簡訊中的連結完成確認後,密碼變更即完成。 如有其他操作問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 變更密碼路徑為 e-Service→帳號管理→變更密碼
    Judge 推理
    這個回答完全符合用戶的問題,提供了變更密碼的具體步驟,並且正確地涵蓋了核心必答的內容。
  • 案例 59D9AB7C

    IPVPN的金流服務跟什麼銀行合作?

    已完成
    第 1 次嘗試 · 已完成 37463ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERIPVPN的金流服務跟什麼銀行合作?
    BOT馬上為您找找看相關內容 📋 您好,我是台灣大企業服務,很高興為您解答! IPVPN的金流服務目前與以下金融單位合作:台北富邦銀行、台新銀行、聯合信用卡中心、中國信託、聯邦銀行、國泰世華銀行、土地銀行、合作金庫、新光銀行。 如果您需要更詳細的合作內容或有其他相關問題,歡迎隨時告訴我!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_53400 · IPVPN的加值服務--金流服務有和哪幾個金融單位合作?
      問題
      IPVPN的加值服務--金流服務有和哪幾個金融單位合作?
      回答
      台北富邦銀行、台新銀行、聯合信用卡中心、中國信託、聯邦銀行、國泰世華銀行、土地銀行、合作金庫、新光銀行。
    意料之外 (9)
    • ! know_53399 · 什麼是「IPVPN」?
      問題
      什麼是「IPVPN」?
      回答
      「IPVPN」可接受乙太電路、數據電路、FTTx電路、ADSL電路、行動網路等接入的Layer 3的 VPN服務。
    • ! know_53401 · 「MEVPN」與「IPVPN」的差益為何?
      問題
      「MEVPN」與「IPVPN」的差益為何?
      回答
      「MEVPN」為Layer 2服務由客戶自行設定IP、管理Routing 「IPVPN」為Layer 3服務由電信公司設定IP、管理Routing
    • ! know_53179 · e-Service繳費方式有哪些說明?
      問題
      e-Service繳費方式有哪些說明?
      回答
      用戶可持帳單至指定銀行櫃檯繳款,包括臺灣銀行、土地銀行、合作金庫等。便利商店僅受理本期應繳總金額全額繳款,請保留代收款專用繳款證明以供日後查詢。信用卡轉帳代繳需申請,詳細流程請參考相關說明。
    • ! know_53164 · e-Service線上繳款方式?
      問題
      e-Service線上繳款方式?
      回答
      線上繳款可選擇使用銀行帳號或信用卡。銀行帳號繳款不需VISA功能,免手續費及讀卡機,輸入帳號即可繳費。信用卡線上刷卡也免手續費及讀卡機,輸入卡號、到期日及安全碼即可繳費。系統使用SSL安全加密機制,保障您的繳款安全。促銷優惠每月繳費,每月送,詳情可查看網站。
    • ! know_53556 · 申請VPN服務, 要投件華信光世代/ADSL電路, 如何填寫IP
      問題
      申請VPN服務, 要投件華信光世代/ADSL電路, 如何填寫IP
      回答
      如果有任何服務問題請洽詢企業技術顧問暨支援處
    • ! know_53425 · 企業如何申辦「IOTBS」物聯網服務?
      問題
      企業如何申辦「IOTBS」物聯網服務?
      回答
      可透過企業服務官網「聯絡我們」或透過企業業務窗口提出需求,將由專人為您協助後續服務及說明。
    • ! know_53362 · 是否有提供免費的POC方案?
      問題
      是否有提供免費的POC方案?
      回答
      有的,因應SD-WAN為網路架構服務,因此會從相關功能面上提供乙次免費POC驗證服務。
    • ! know_53410 · 適合使用IP VPN的用戶為何?
      問題
      適合使用IP VPN的用戶為何?
      回答
      流通業、連鎖服務業、金融業、製造業等有多點互連需求用戶。
    • ! know_53465 · 如何查詢網際網路接取服務帳單金額?
      問題
      如何查詢網際網路接取服務帳單金額?
      回答
      從官網的固網帳務服務介面進行查詢(https://www.twmsolution.com/ebgp/service)
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料中的資訊,所有提到的銀行均在來源中列出,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是台灣大企業服務,很高興為您解答! IPVPN的金流服務目前與以下金融單位合作:台北富邦銀行、台新銀行、聯合信用卡中心、中國信託、聯邦銀行、國泰世華銀行、土地銀行、合作金庫、新光銀行。 如果您需要更詳細的合作內容或有其他相關問題,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 台北富邦銀行
    • 台新銀行
    • 聯合信用卡中心
    • 中國信託
    • 聯邦銀行
    • 國泰世華銀行
    • 土地銀行
    • 合作金庫
    • 新光銀行
    Judge 推理
    這個回答完全符合用戶的問題,列出了所有相關的銀行合作夥伴,並且沒有錯誤的陳述。