執行 #200

PAYUNi AI 小幫手 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告

狀態: 已完成
案例: 30
開始時間: 16 May 12:15
耗時: 754.6s

¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2053

Total Bot Cost · USD

46.2%

Prompt Cache Hit

cost per case: $0.0068
cost per 1k tokens: $0.0016
input tokens: 127,176
output tokens: 4,885
cached tokens — prompt-cache hit: 58,752
Total Tokens: 132,061

economic efficiency

cost per correct: $0.0011
pass rate: 80.0%; 24 / 30
judge cost: $0.0256

設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

182331ea-15f3-4ec4-9ae9-852d66f8c284 130 筆 KB

SystemPrompt: sha256:e4a7be06 KBContent: sha256:a78ee091 Tools: sha256:e3b0c442 Scenarios: sha256:cc432c2d AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1

已完成

30 / 30

錯誤

失敗維度

首字延遲 p95

29062 ms

Bot 成本（Neptune）

$0.2053

Bot Tokens（Neptune）

132,061

Judge 成本（Eris）

$0.0256

Judge Tokens（Eris）

195,912

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

100.0%

[100.0% – 100.0%] · n=10

F1 40.0% · 相關率 44.0% · 精確 28.0%

10 / 10 適用

不亂編造平均

faithfulness

100.0%

[100.0% – 100.0%] · n=10

10 / 10 適用

答得到位平均

answer_quality

97.3%

[94.7% – 99.3%] · n=10

10 / 10 適用

案例 3138A1EB

請問如果收不到電子信箱驗證要怎麼辦？

已完成
第 1 次嘗試 · 已完成 44024ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER請問如果收不到電子信箱驗證要怎麼辦？

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！如果您收不到電子信箱驗證，請先確認信件是否掉入垃圾郵件匣，或檢查您的信箱是否已超過可使用容量。
知識檢索
100.0%

Precision

100.0%

Recall

100.0%

F1

100.0%

預期 (1)

✓ know_371767 · 收不到電子信箱驗證

問題

收不到電子信箱驗證

回答

請確認信件是否掉入垃圾郵件匣，或該信箱是否已超過可使用容量。

TP 1

FP 0

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆完全符合來源材料中的內容，所有的事實陳述都有來源支持，因此沒有任何虛構的聲明。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！如果您收不到電子信箱驗證，請先確認信件是否掉入垃圾郵件匣，或檢查您的信箱是否已超過可使用容量。

預期答案 · 加權拆解

I 核心必答 w 60%

請確認信件是否掉入垃圾郵件匣
確認該信箱是否已超過可使用容量

Judge 推理

這個回答完全符合用戶的問題，並且涵蓋了所有必要的要點，沒有遺漏或錯誤的陳述。
案例 8FFC7B1A

可以在哪裡查詢訂單交易狀態?

已完成
第 1 次嘗試 · 已完成 41980ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER可以在哪裡查詢訂單交易狀態?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！您可以透過以下方式查詢訂單交易狀態： 1. 前往統一金流官網的「交易查詢專區」查詢指定訂單的交易狀態。網址：https://www.payuni.com.tw/transactions 2. 登入統一金流平台，於左側功能列點選【交易動態】→【交易動態明細】，在上方篩選項目找到【指定條件】欄位，下拉【查詢項目】選擇後，輸入 UNi 序號或商店訂單編號，按下紫色按鈕【查詢】，即可在下方查詢結果看到該筆訂單的交易狀態。如需更詳細操作說明，歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371879 · 訂單有付款成功嗎

問題

訂單有付款成功嗎

回答

可透過統一金流官網交易查詢專區查詢指定訂單交易狀態。 https://www.payuni.com.tw/transactions

意料之外 (4)

! know_371785 · 訂單有付款成功嗎

問題

訂單有付款成功嗎

回答

請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，上方篩選項目找到【指定條件】欄位下拉【查詢項目】選項，請輸入UNi序號或商店訂單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，即可檢視該筆交易狀態。

! know_371849 · 怎麼退款

問題

怎麼退款

回答

當日20:00前之交易，請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，上方篩選項目找到【指定條件】欄位下拉【查詢項目】選項，請輸入UNi序號或商店訂單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，點選最右側執行欄位【取消請款】，再點擊【取消授權】按鈕即可於消費者信用卡帳單將不會出現該筆交易紀錄。當日20:00後之交易，請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，上方篩選項目找到【指定條件】欄位下拉【查詢項目】選項，請輸入UNi序號或商店訂單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，點選最右側執行欄位【退款】，並於彈窗輸入退款金額即可於消費者信用卡帳單將出現一正一負之交易紀錄。

! know_371784 · 為什麼刷不過/授權失敗是為什麼

問題

為什麼刷不過/授權失敗是為什麼

回答

請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，上方篩選項目找到【指定條件】欄位下拉【查詢項目】選項，請輸入UNi序號或商店訂單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，點選該筆指定訂單藍色字體UNi序號，即彈窗顯示訂單明細，於彈窗左下角即可檢視付款失敗原因。

! know_371877 · 要審核多久

問題

要審核多久

回答

消費者上傳證件後最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆完全符合來源資料中的資訊，所有提供的查詢方式都有相應的來源支持，因此沒有任何虛構的聲明。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！您可以透過以下方式查詢訂單交易狀態： 1. 前往統一金流官網的「交易查詢專區」查詢指定訂單的交易狀態。網址：https://www.payuni.com.tw/transactions 2. 登入統一金流平台，於左側功能列點選【交易動態】→【交易動態明細】，在上方篩選項目找到【指定條件】欄位，下拉【查詢項目】選擇後，輸入 UNi 序號或商店訂單編號，按下紫色按鈕【查詢】，即可在下方查詢結果看到該筆訂單的交易狀態。如需更詳細操作說明，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

可以透過統一金流官網交易查詢專區查詢指定訂單交易狀態

Judge 推理

這個回答完全符合用戶的查詢，提供了查詢訂單交易狀態的具體方法，且所有關鍵點都被涵蓋，沒有錯誤的陳述。
案例 BDFCA8C8

怎麼關閉個資管理的頁面顯示設定?

已完成
第 1 次嘗試 · 已完成 33690ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER怎麼關閉個資管理的頁面顯示設定?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！若您想關閉個資管理的「頁面顯示設定」，請依下列步驟操作： 1. 請登入統一金流平台。 2. 於左側功能列點選【會員】→【帳號設定】。 3. 拉到頁面最下方，找到【個資管理】欄位。 4. 將【頁面顯示設定】變更為「關閉」。詳細操作說明也可參考官方操作手冊第31頁： [操作手冊下載連結](https://docs.payuni.com.tw/Public/Uploads/2026-01-08/695f553092f0e.pdf) 如有其他問題，歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371793 · 提領失敗原因-E05(收受者統編錯誤)-會員提領-個人會員

問題

提領失敗原因-E05(收受者統編錯誤)-會員提領-個人會員

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。再至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊再麻煩協助確認此帳戶是否為個人會員本人帳戶若非個人會員本人帳戶，請使用頁面右側【新增金融帳戶】新增正確帳戶後，並將錯誤帳戶關閉刪除最後至上方隔壁頁籤【會員提領】，自行選擇單次手動提領或設定自動提領排程

意料之外 (4)

! know_371852 · 看不到客人的資料/信箱/電話

問題

看不到客人的資料/信箱/電話

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。詳細資訊請參考操作手冊第31頁 https://docs.payuni.com.tw/Public/Uploads/2026-01-08/695f553092f0e.pdf

! know_371801 · 提領失敗原因-E05(收受者統編錯誤)-商店提領-個人會員

問題

提領失敗原因-E05(收受者統編錯誤)-商店提領-個人會員

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。再至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊再麻煩協助確認此帳戶是否為個人會員本人帳戶若非個人會員本人帳戶，請使用頁面右側【新增金融帳戶】新增正確帳戶後，並將錯誤帳戶關閉刪除最後至上方隔壁頁籤【商店提領】，自行選擇單次手動提領或設定自動提領排程

! know_371799 · 提領失敗原因-帳號與姓名不符(EB04)-商店提領-個人會員

問題

提領失敗原因-帳號與姓名不符(EB04)-商店提領-個人會員

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。再至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊再麻煩協助確認此帳戶是否為個人會員本人帳戶若非個人會員本人帳戶，請使用頁面右側【新增金融帳戶】新增正確帳戶後，並將錯誤帳戶關閉刪除最後至上方隔壁頁籤【商店提領】，自行選擇單次手動提領或設定自動提領排程

! know_371800 · 提領失敗原因-E04(無此帳號)-商店提領-個人會員

問題

提領失敗原因-E04(無此帳號)-商店提領-個人會員

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。再至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊再麻煩協助確認此金融帳戶帳號是否正確若帳號有誤，請點選紫色鉛筆圖示調整帳號，將是否啟用帳戶按鈕變更為綠色啟用，並點擊【修改】即完成帳戶變更最後至上方隔壁頁籤【商店提領】，自行選擇單次手動提領或設定自動提領排程

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI的回覆完全依據來源材料，所有的操作步驟和細節都與來源一致，因此沒有任何虛構的內容。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！若您想關閉個資管理的「頁面顯示設定」，請依下列步驟操作： 1. 請登入統一金流平台。 2. 於左側功能列點選【會員】→【帳號設定】。 3. 拉到頁面最下方，找到【個資管理】欄位。 4. 將【頁面顯示設定】變更為「關閉」。詳細操作說明也可參考官方操作手冊第31頁： [操作手冊下載連結](https://docs.payuni.com.tw/Public/Uploads/2026-01-08/695f553092f0e.pdf) 如有其他問題，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

請登入統一金流平台至左側功能列【會員】【帳號設定】
拉至頁面最下方找到【個資管理】欄位
將【頁面顯示設定】變更為關閉

Judge 推理

這個回答完整地涵蓋了用戶的問題，並提供了詳細的步驟說明，符合預期的回答風格。所有關鍵點都被正確地提及，且沒有錯誤的陳述。
案例 C4129DF3

消費者使用刷卡分期時，手續費可以轉嫁嗎

已完成
第 1 次嘗試 · 已完成 35969ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER消費者使用刷卡分期時，手續費可以轉嫁嗎

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據相關規定，若消費者使用「刷卡一次付清」，則因交易所產生的手續費不得轉嫁給消費者。但如果消費者選擇「刷卡分期」，則不在此限制內，也就是說，刷卡分期所產生的手續費可以轉嫁給消費者。您可參考《信用卡業務機構管理辦法》第50條（連結：https://law.moj.gov.tw/LawClass/LawAll.aspx?PCode=G0380055）。如需進一步說明或有其他問題，歡迎隨時詢問！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371787 · 要怎麼跟消費者收取刷卡手續費

問題

要怎麼跟消費者收取刷卡手續費

回答

若消費者使用刷卡一次付清，則因交易所衍生之手續費不得轉嫁但消費者使用刷卡分期則不在此限，可參考信用卡業務機構管理辦法第50條 https://law.moj.gov.tw/LawClass/LawAll.aspx?PCode=G0380055

意料之外 (4)

! know_371786 · 手續費是跟消費者收取嗎

問題

手續費是跟消費者收取嗎

回答

會員使用統一金流進行網路收款服務，因交易所衍生之手續費皆向會員(賣家)收取。

! know_371871 · 信用卡手續費是多少

問題

信用卡手續費是多少

回答

請登入統一金流平台至左側功能列【會員】【商店清單】點選指定商店，隨即進入【商業條件及支付工具設定】頁籤即可檢視各項支付工具對應之手續費率。

! know_371820 · 客人已經刷卡了我什麼時候可以拿到錢

問題

客人已經刷卡了我什麼時候可以拿到錢

回答

請登入統一金流平台至左側功能列【會員】【商店清單】點選指定商店，隨即進入【商業條件及支付工具設定】頁籤即可檢視【撥款天期】設定若撥款天期為七天，意即消費者於1/1付款完成或信用卡請款成功後起算七天，將於1/8撥入會員UNi帳戶，屆時即可執行提領至會員指定金融帳戶。

! know_371877 · 要審核多久

問題

要審核多久

回答

消費者上傳證件後最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆完全符合來源材料的內容，並且所有的事實陳述都有來源支持，因此沒有虛構的聲明。

回答品質
86.7%

相關性

100.0%

完整性

60.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

60.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據相關規定，若消費者使用「刷卡一次付清」，則因交易所產生的手續費不得轉嫁給消費者。但如果消費者選擇「刷卡分期」，則不在此限制內，也就是說，刷卡分期所產生的手續費可以轉嫁給消費者。您可參考《信用卡業務機構管理辦法》第50條（連結：https://law.moj.gov.tw/LawClass/LawAll.aspx?PCode=G0380055）。如需進一步說明或有其他問題，歡迎隨時詢問！

預期答案 · 加權拆解

I 核心必答 w 60%

消費者使用刷卡分期時，手續費可以轉嫁給消費者

Judge 推理

回覆中提到手續費可以轉嫁給消費者，符合問題要求，但因為提供了額外的資訊，導致核心回答的完整性未達到滿分。
案例 6AD272B6

上傳證件後，身份驗證要多久?

已完成
第 1 次嘗試 · 已完成 28355ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER上傳證件後，身份驗證要多久?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的規定，消費者上傳證件後，最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。如果您有其他相關問題，也歡迎隨時詢問！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371876 · 已經上傳證件了什麼時候會變付款成功

問題

已經上傳證件了什麼時候會變付款成功

回答

消費者上傳證件後最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。

意料之外 (4)

! know_371877 · 要審核多久

問題

要審核多久

回答

消費者上傳證件後最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。

! know_371878 · 為什麼我的訂單都一直在審核中

問題

為什麼我的訂單都一直在審核中

回答

再麻煩協助提供UNi序號以利客服查詢，亦可於統一金流平台登入【買方會員】確認是否已成功上傳證件並執行信箱驗證流程。

! know_371778 · 註冊會員要審核多久 -待驗信箱

問題

註冊會員要審核多久 -待驗信箱

回答

請登入統一金流平台依彈窗顯示驗證電子信箱後，預計將於15個工作天內完成審核並寄發通知信。

! know_371776 · 註冊會員要審核多久 (是否有API可查審核狀態及未通過原因)

問題

註冊會員要審核多久 (是否有API可查審核狀態及未通過原因)

回答

若已登入統一平台資料補齊並上傳相關證件、文件，預計將於15個工作天內完成審核寄發通知信。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆內容完全符合來源資料，並且所有的事實陳述都有來源支持，因此沒有虛構的聲明。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的規定，消費者上傳證件後，最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。如果您有其他相關問題，也歡迎隨時詢問！

預期答案 · 加權拆解

I 核心必答 w 60%

消費者上傳證件後最晚將於7天內完成身份驗證
將變更該筆訂單交易狀態

Judge 推理

這個回答完全符合用戶的問題，並且涵蓋了所有關鍵點，沒有遺漏或錯誤的資訊。
案例 72A09C57

為什麼提領狀態顯示處理失敗?

已完成
第 1 次嘗試 · 已完成 36812ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER為什麼提領狀態顯示處理失敗?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！提領狀態顯示「處理失敗」的原因，您可以登入統一金流平台，依下列步驟查詢詳細失敗原因： 1. 請至左側功能列【UNi帳戶】→【帳戶明細】。 2. 在上方篩選項目找到【執行原因】欄位，選擇【提領】。 3. 按下下方紫色按鈕【查詢】，即可看到提領狀態。 4. 若狀態顯示為「處理失敗」，右側的【備註】欄位會揭露詳細的失敗原因。常見的提領失敗原因包括： - 帳號錯誤（如E04：無此帳號） - 統編錯誤（如E05：收受者統編錯誤） - 其他特殊情況（如E99：其他原因，需聯繫客服並提供存摺封面圖檔協助排查）若您需要針對特定錯誤代碼（如E04、E05、E99）進一步協助，請提供您的錯誤代碼或備註內容，我可以為您說明後續處理方式。
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371790 · 為什麼提領失敗/提領失敗原因是什麼 (是否有API可查會員提領失敗原因)

問題

為什麼提領失敗/提領失敗原因是什麼 (是否有API可查會員提領失敗原因)

回答

請登入統一金流平台至左側功能列【UNi帳戶】【帳戶明細】，上方篩選項目找到【執行原因】欄位，點選【提領】按下下方紫色按鈕【查詢】即可提領狀態，若狀態顯示為處理失敗，將於右側【備註】欄位揭露提領失敗原因

意料之外 (4)

! know_371794 · 提領失敗原因-E99(其他原因，請洽客服人員)-會員提領-個人會員

問題

提領失敗原因-E99(其他原因，請洽客服人員)-會員提領-個人會員

回答

再麻煩協助提供存摺封面圖檔以利客服排查提領失敗原因。

! know_371793 · 提領失敗原因-E05(收受者統編錯誤)-會員提領-個人會員

問題

提領失敗原因-E05(收受者統編錯誤)-會員提領-個人會員

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。再至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊再麻煩協助確認此帳戶是否為個人會員本人帳戶若非個人會員本人帳戶，請使用頁面右側【新增金融帳戶】新增正確帳戶後，並將錯誤帳戶關閉刪除最後至上方隔壁頁籤【會員提領】，自行選擇單次手動提領或設定自動提領排程

! know_371798 · 提領失敗原因-E99(其他原因，請洽客服人員)-會員提領-商業會員

問題

提領失敗原因-E99(其他原因，請洽客服人員)-會員提領-商業會員

回答

再麻煩協助提供存摺封面圖檔以利客服排查提領失敗原因。

! know_371792 · 提領失敗原因-E04(無此帳號)-會員提領-個人會員

問題

提領失敗原因-E04(無此帳號)-會員提領-個人會員

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。再至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊再麻煩協助確認此金融帳戶帳號是否正確若帳號有誤，請點選紫色鉛筆圖示調整帳號，將是否啟用帳戶按鈕變更為綠色啟用，並點擊【修改】即完成帳戶變更最後至上方隔壁頁籤【會員提領】，自行選擇單次手動提領或設定自動提領排程

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI的回覆完全基於來源材料，並且提供了詳細的查詢步驟和常見的失敗原因，所有的事實陳述都有來源支持，因此沒有任何虛構的聲明。

回答品質
93.3%

相關性

100.0%

完整性

80.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

80.0% · w 60%

若提領狀態顯示為處理失敗，失敗原因會在右側的【備註】欄位顯示
請登入統一金流平台至左側功能列【UNi帳戶】【帳戶明細】
上方篩選項目找到【執行原因】欄位，點選【提領】並按下【查詢】以查看狀態

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！提領狀態顯示「處理失敗」的原因，您可以登入統一金流平台，依下列步驟查詢詳細失敗原因： 1. 請至左側功能列【UNi帳戶】→【帳戶明細】。 2. 在上方篩選項目找到【執行原因】欄位，選擇【提領】。 3. 按下下方紫色按鈕【查詢】，即可看到提領狀態。 4. 若狀態顯示為「處理失敗」，右側的【備註】欄位會揭露詳細的失敗原因。常見的提領失敗原因包括： - 帳號錯誤（如E04：無此帳號） - 統編錯誤（如E05：收受者統編錯誤） - 其他特殊情況（如E99：其他原因，需聯繫客服並提供存摺封面圖檔協助排查）若您需要針對特定錯誤代碼（如E04、E05、E99）進一步協助，請提供您的錯誤代碼或備註內容，我可以為您說明後續處理方式。

預期答案 · 加權拆解

I 核心必答 w 60%

若提領狀態顯示為處理失敗，失敗原因會在右側的【備註】欄位顯示
請登入統一金流平台至左側功能列【UNi帳戶】【帳戶明細】
上方篩選項目找到【執行原因】欄位，點選【提領】並按下【查詢】以查看狀態

Judge 推理

回覆內容針對提領狀態顯示處理失敗的問題提供了詳細的查詢步驟，然而缺少了關於失敗原因會在備註欄位顯示的關鍵資訊，因此在完整性上有所不足。
案例 5D9CBA3C

變更帳號怎麼做

已完成
第 1 次嘗試 · 已完成 19561ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER變更帳號怎麼做

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！若您想變更帳號，請依下列步驟操作： 1. 請登入統一金流平台。 2. 在左側功能列選擇【會員】→【帳號設定】。 3. 找到會員帳號欄位後，點選紫色按鈕【變更帳號】。 4. 系統會跳出彈窗，您即可進行登入帳號的變更。如有其他相關問題，也歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371843 · 怎麼變更帳號

問題

怎麼變更帳號

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，找到會員帳號欄位點選紫色按鈕【變更帳號】，即有彈窗顯示可進行登入帳號變更。

意料之外 (4)

! know_371844 · 怎麼變更信箱

問題

怎麼變更信箱

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，找到電子信箱欄位點選紫色按鈕【變更電子信箱】，即有彈窗顯示可進行電子信箱變更。

! know_371852 · 看不到客人的資料/信箱/電話

問題

看不到客人的資料/信箱/電話

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。詳細資訊請參考操作手冊第31頁 https://docs.payuni.com.tw/Public/Uploads/2026-01-08/695f553092f0e.pdf

! know_371842 · 登入帳號是什麼

問題

登入帳號是什麼

回答

再麻煩協助提供會員資訊及管理者電子信箱以利客服核對確認，後續將提供登入帳號資訊以利操作統一金流平台。

! know_371768 · 信箱打錯了收不到驗證信

問題

信箱打錯了收不到驗證信

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，找到電子信箱欄位點選紅色按鈕【重新發送驗證信】，即有彈窗顯示可進行電子信箱變更。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆完全依據來源材料，提供了正確的變更帳號步驟，所有的事實陳述都有來源支持，因此沒有虛構的內容。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！若您想變更帳號，請依下列步驟操作： 1. 請登入統一金流平台。 2. 在左側功能列選擇【會員】→【帳號設定】。 3. 找到會員帳號欄位後，點選紫色按鈕【變更帳號】。 4. 系統會跳出彈窗，您即可進行登入帳號的變更。如有其他相關問題，也歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

請登入統一金流平台至左側功能列【會員】【帳號設定】
找到會員帳號欄位點選紫色按鈕【變更帳號】
即有彈窗顯示可進行登入帳號變更

Judge 推理

這個回答完整地涵蓋了變更帳號的所有步驟，並且與正確答案一致，沒有遺漏或錯誤的資訊。
案例 79EA40CD

使用統一金流需要先註冊嗎

已完成
第 1 次嘗試 · 已完成 25385ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER使用統一金流需要先註冊嗎

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據官方資訊，若您想要使用統一金流服務，必須先到統一金流官網註冊成為會員，填寫基本資料及販售資訊，並通過審核後才能開通網路收款服務。如果您需要了解註冊時需準備哪些資料，或有其他相關問題，也歡迎隨時詢問！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371758 · 要怎麼使用統一金流

問題

要怎麼使用統一金流

回答

請直接於統一金流官網註冊成為會員，填寫基本資料及販售資訊後通過審核即可開通網路收款服務。

意料之外 (4)

! know_371769 · 註冊顯示統編已經被註冊了

問題

註冊顯示統編已經被註冊了

回答

再麻煩改以【登入】形式進入統一金流平台如忘記登入帳號，請於服務時間來電(02)6605-0810聯繫客服，謝謝。

! know_371777 · 註冊會員要審核多久 -待補資料

問題

註冊會員要審核多久 -待補資料

回答

請登入統一金流平台將資料補齊並上傳相關證件、文件，預計將於15個工作天內完成審核寄發通知信。

! know_371814 · 帳戶被凍結可以換家人的帳號嗎

問題

帳戶被凍結可以換家人的帳號嗎

回答

依據《洗錢防制法》規定註冊統一金流個人會員，提領帳戶需為該個人會員本人帳戶，無法變更為他人帳戶註冊統一金流商業會員，提領帳戶需為該商業會員公司帳戶

! know_371759 · 註冊統一金流時需準備哪些資料

問題

註冊統一金流時需準備哪些資料

回答

因統一金流會員資格不同，需準備不同相關文件如: 個人會員請上傳身分證件正反面及第二證件商業會員請上傳負責人身分證件並檢附變更登記表、統一編配書或相關行業立案證明文件

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆完全符合來源資料，並且所有的事實陳述都有來源支持，因此沒有任何虛構的聲明。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據官方資訊，若您想要使用統一金流服務，必須先到統一金流官網註冊成為會員，填寫基本資料及販售資訊，並通過審核後才能開通網路收款服務。如果您需要了解註冊時需準備哪些資料，或有其他相關問題，也歡迎隨時詢問！

預期答案 · 加權拆解

I 核心必答 w 60%

使用統一金流需要直接於統一金流官網註冊成為會員
填寫基本資料及販售資訊後通過審核即可開通網路收款服務

Judge 推理

這個回答完全符合使用統一金流的註冊要求，並且提供了詳細的註冊流程，涵蓋了所有必要的要點，因此在相關性、完整性和正確性上都得到了滿分。
案例 1241B30C

註冊會員審核後會有通知信嗎

已完成
第 1 次嘗試 · 已完成 38704ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER註冊會員審核後會有通知信嗎

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的資料，註冊會員經過審核後，系統會在預計15個工作天內寄發通知信到您的指定信箱。無論審核通過或未通過，都會收到審核結果通知信，若未通過，信件內也會說明原因。如需進一步協助，歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371776 · 註冊會員要審核多久 (是否有API可查審核狀態及未通過原因)

問題

註冊會員要審核多久 (是否有API可查審核狀態及未通過原因)

回答

若已登入統一平台資料補齊並上傳相關證件、文件，預計將於15個工作天內完成審核寄發通知信。

意料之外 (4)

! know_371778 · 註冊會員要審核多久 -待驗信箱

問題

註冊會員要審核多久 -待驗信箱

回答

請登入統一金流平台依彈窗顯示驗證電子信箱後，預計將於15個工作天內完成審核並寄發通知信。

! know_371779 · 註冊會員要審核多久 -未建商店

問題

註冊會員要審核多久 -未建商店

回答

請登入統一金流平台依彈窗顯示建立商店填寫販售資訊後，預計將於15個工作天內完成審核寄發通知信。

! know_371777 · 註冊會員要審核多久 -待補資料

問題

註冊會員要審核多久 -待補資料

回答

請登入統一金流平台將資料補齊並上傳相關證件、文件，預計將於15個工作天內完成審核寄發通知信。

! know_371782 · 為什麼審核未通過

問題

為什麼審核未通過

回答

審核完成後將寄發審核結果通知信至指定信箱，信件內文即寫明未過審原因，再麻煩協助針對未通過原因進行資料調整並執行重新送審。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆內容完全符合來源資料，所有的事實陳述都有來源支持，因此沒有虛構的聲明。

回答品質
93.3%

相關性

100.0%

完整性

80.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

100.0% · w 30%

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的資料，註冊會員經過審核後，系統會在預計15個工作天內寄發通知信到您的指定信箱。無論審核通過或未通過，都會收到審核結果通知信，若未通過，信件內也會說明原因。如需進一步協助，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

會寄發通知信

II 重要限制 w 30%

審核完成後

Judge 推理

回覆內容針對用戶的問題提供了詳細的解釋，並且正確地提到會寄發通知信。雖然回覆的內容比地面真相更詳細，但仍然符合要求，因此在完整性上略有扣分。
案例 1ACBD2E3

UNi帳戶的金融帳戶資訊在哪裡看?

已完成
第 1 次嘗試 · 已完成 34475ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USERUNi帳戶的金融帳戶資訊在哪裡看?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！您可以在統一金流平台查看 UNi帳戶的金融帳戶資訊。請依下列步驟操作： 1. 登入統一金流平台。 2. 點選左側功能列的【UNi帳戶】。 3. 選擇【提領設定】。 4. 在上方頁籤點選【金融帳戶設定】，即可檢視您所設定的金融帳戶資訊。如需新增帳戶，可使用頁面右側的【新增金融帳戶】功能。如果有其他相關問題，歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371795 · 提領失敗原因-帳號與姓名不符(EB04)-會員提領-商業會員

問題

提領失敗原因-帳號與姓名不符(EB04)-會員提領-商業會員

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。再至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊再麻煩協助確認此帳戶是否為商業會員公司帳戶若非商業會員公司帳戶帳戶，請使用頁面右側【新增金融帳戶】新增正確帳戶後，並將錯誤帳戶關閉刪除最後至上方隔壁頁籤【會員提領】，自行選擇單次手動提領或設定自動提領排程

意料之外 (4)

! know_371812 · 要怎麼變更提領帳戶

問題

要怎麼變更提領帳戶

回答

請登入統一金流平台至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可點選紫色鉛筆圖示調整帳戶資訊或透過頁面右側【新增金融帳戶】功能新增指定帳戶。

! know_371850 · 怎麼對帳

問題

怎麼對帳

回答

請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，及搭配左側功能列【UNi帳戶】【帳戶明細】，匯出兩份報表進行比對。詳細資訊請參考操作手冊第73及137頁 https://docs.payuni.com.tw/Public/Uploads/2026-01-08/695f553092f0e.pdf

! know_371864 · 為什麼帳戶有負值/為什麼要匯回負值

問題

為什麼帳戶有負值/為什麼要匯回負值

回答

請登入統一金流平台至左側功能列【UNi帳戶】【帳戶明細】，上方篩選條件皆不需調整異動，請直接點選紫色【查詢】按鈕，即可查得負值原因。再麻煩協助依信件內之說明將款項匯回統一金流帳戶並回信至rm@payuni.com.tw告知匯款末五碼資訊。

! know_371803 · 提領失敗原因-帳號與姓名不符(EB04)-商店提領-商業會員

問題

提領失敗原因-帳號與姓名不符(EB04)-商店提領-商業會員

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，拉至頁面最下方找到【個資管理】欄位，將【頁面顯示設定】變更為關閉。再至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊再麻煩協助確認此帳戶是否為商業會員公司帳戶若非商業會員公司帳戶帳戶，請使用頁面右側【新增金融帳戶】新增正確帳戶後，並將錯誤帳戶關閉刪除最後至上方隔壁頁籤【商店提領】，自行選擇單次手動提領或設定自動提領排程

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI的回覆完全符合來源資料中的指示，所有的事實陳述都有來源支持，因此沒有任何虛構的聲明。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！您可以在統一金流平台查看 UNi帳戶的金融帳戶資訊。請依下列步驟操作： 1. 登入統一金流平台。 2. 點選左側功能列的【UNi帳戶】。 3. 選擇【提領設定】。 4. 在上方頁籤點選【金融帳戶設定】，即可檢視您所設定的金融帳戶資訊。如需新增帳戶，可使用頁面右側的【新增金融帳戶】功能。如果有其他相關問題，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

請登入統一金流平台
至左側功能列【UNi帳戶】【提領設定】找到上方頁籤【金融帳戶設定】即可檢視所設定之金融帳戶資訊

Judge 推理

這個回答完整地涵蓋了用戶查詢的所有要點，並且提供了清晰的步驟來查看UNi帳戶的金融帳戶資訊，符合預期的回答風格。

維度總表

各維度品質分 · 覆蓋率

走對流程召回

scenario

90.0%

[70.0% – 100.0%] · n=10

F1 90.0% · 召回 90.0% · 精確 90.0%

10 / 10 適用

用對工具召回

tool_usage

90.0%

[70.0% – 100.0%] · n=10

F1 90.0% · 召回 90.0% · 精確 100.0%

10 / 10 適用

答得到位平均

answer_quality

73.3%

[57.0% – 89.3%] · n=10

10 / 10 適用

案例 10656B1B

查詢有關測試區的資訊，請問要怎麼做測試?

已完成

第 1 次嘗試 · 已完成 44893ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER查詢有關測試區的資訊，請問要怎麼做測試?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於「測試區」及如何進行測試，您可以依照以下步驟操作：請至統一金流官網右上角【開發專區】，在左側功能列點選【API】→【交易建立】→【整合式支付頁】→【Ver2.0】。在這份技術文件中，會揭露測試區官網、測試區 URL 及測試卡號等相關資訊。詳細說明與操作文件請參考官方技術文件： https://docs.payuni.com.tw/web/#/7/34 如需更進一步的協助，歡迎隨時告訴我！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於「測試區」及如何進行測試，您可以依照以下步驟操作：請至統一金流官網右上角【開發專區】，在左側功能列點選【API】→【交易建立】→【整合式支付頁】→【Ver2.0】。在這份技術文件中，會揭露測試區官網、測試區 URL 及測試卡號等相關資訊。詳細說明與操作文件請參考官方技術文件： https://docs.payuni.com.tw/web/#/7/34 如需更進一步的協助，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%: 請至統一金流官網右上角【開發專區】左側功能列點選【API】【交易建立】【整合式支付頁】【Ver2.0】
此份技術文件內即揭露測試區官網、測試區URL及測試卡號等資訊

Judge 推理

該回覆完整地回答了用戶的問題，提供了所有必要的步驟和資訊，並且符合規範要求。

案例 90C3C4E0

如何查詢你們的產品資訊或知識？

已完成

第 1 次嘗試 · 已完成 33100ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER如何查詢你們的產品資訊或知識？

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！若您想查詢我們的產品資訊或知識，建議您可以參考以下方式： 1. 前往 PAYUNi 官方網站的常見問題（FAQ）專區，網址：https://www.payuni.com.tw/QA，這裡整理了會員註冊、交易流程、物流服務、優惠券設定等多種主題的詳細說明。 2. 若您需要查詢特定訂單的交易狀態，可以直接使用統一金流官網的交易查詢專區：https://www.payuni.com.tw/transactions。 3. 針對物流、優惠券、會員資格、收款與付款等問題，FAQ 專區也有完整的操作指引與解答。如果您有特定想了解的產品或功能，也歡迎直接告訴我您的需求，我可以幫您快速查詢相關資訊！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

60.0%

相關性: 80.0%
完整性: 50.0%
正確性: 50.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！若您想查詢我們的產品資訊或知識，建議您可以參考以下方式： 1. 前往 PAYUNi 官方網站的常見問題（FAQ）專區，網址：https://www.payuni.com.tw/QA，這裡整理了會員註冊、交易流程、物流服務、優惠券設定等多種主題的詳細說明。 2. 若您需要查詢特定訂單的交易狀態，可以直接使用統一金流官網的交易查詢專區：https://www.payuni.com.tw/transactions。 3. 針對物流、優惠券、會員資格、收款與付款等問題，FAQ 專區也有完整的操作指引與解答。如果您有特定想了解的產品或功能，也歡迎直接告訴我您的需求，我可以幫您快速查詢相關資訊！

預期答案 · 加權拆解

I 核心必答 w 60%: 可以透過統一處理知識庫查詢與產品資訊查詢的功能進行查詢
我們會使用並發搜尋提供完整資訊
III 補充說明 w 10%: 如有特定問題，請告訴我

Judge 推理

回覆中提到的查詢方式雖然有一定的相關性，但未能直接回答用戶的問題，且未遵循規則僅回答知識內容，導致完整性和正確性得分偏低。

案例 320E08F9

請問我要怎麼做測試，測試區的網址是什麼？

已完成

第 1 次嘗試 · 已完成 26450ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER請問我要怎麼做測試，測試區的網址是什麼？

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於測試區的操作方式與網址，您可以依照以下步驟進行： 1. 請至統一金流官網右上角【開發專區】。 2. 在左側功能列點選【API】→【交易建立】→【整合式支付頁】→【Ver2.0】。 3. 此份技術文件內會揭露測試區官網、測試區 URL 及測試卡號等資訊。您可以直接參考這份技術文件： https://docs.payuni.com.tw/web/#/7/34 如需更詳細的測試流程或有其他相關問題，歡迎隨時告訴我！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於測試區的操作方式與網址，您可以依照以下步驟進行： 1. 請至統一金流官網右上角【開發專區】。 2. 在左側功能列點選【API】→【交易建立】→【整合式支付頁】→【Ver2.0】。 3. 此份技術文件內會揭露測試區官網、測試區 URL 及測試卡號等資訊。您可以直接參考這份技術文件： https://docs.payuni.com.tw/web/#/7/34 如需更詳細的測試流程或有其他相關問題，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%: 請至統一金流官網右上角【開發專區】左側功能列點選【API】【交易建立】【整合式支付頁】【Ver2.0】
此份技術文件內即揭露測試區官網、測試區URL及測試卡號等資訊

Judge 推理

這個回答完全符合用戶的問題，提供了清晰的步驟和網址，並且沒有多餘的推薦或不必要的資訊，符合規範。

案例 F622E598

你們的系統可以一次搜尋產品和知識庫的資料嗎?

已完成

第 1 次嘗試 · 已完成 33891ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER你們的系統可以一次搜尋產品和知識庫的資料嗎?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的系統設計，PAYUNi 支援一次同時搜尋產品資訊與知識庫資料。這代表您在查詢時，可以同時獲得相關的產品說明與常見問題解答，讓資訊搜尋更有效率。如果您有特定的產品或問題想查詢，歡迎直接告訴我，我可以幫您進行一次性的整合搜尋！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

83.3%

相關性: 100.0%
完整性: 70.0%
正確性: 80.0%

加權拆解 · 三層 coverage

I 核心: 60.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的系統設計，PAYUNi 支援一次同時搜尋產品資訊與知識庫資料。這代表您在查詢時，可以同時獲得相關的產品說明與常見問題解答，讓資訊搜尋更有效率。如果您有特定的產品或問題想查詢，歡迎直接告訴我，我可以幫您進行一次性的整合搜尋！

預期答案 · 加權拆解

I 核心必答 w 60%: 我們的系統提供進階統一搜尋功能
可以同時跨知識庫、產品與連結資料進行查詢
使用並發搜尋來提供完整資訊

Judge 推理

回覆中提到系統可以同時搜尋產品資訊與知識庫資料，但未提及能跨知識庫、產品與連結資料進行查詢，且未強調使用並發搜尋的功能，因此完整性不足。

案例 98F86A93

怎麼做測試啊?

已完成

第 1 次嘗試 · 已完成 17267ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

✗ 未進入知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER怎麼做測試啊?

BOT能否請您再說明一下具體的問題？這樣我可以為您提供更準確的回答。

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 7336 · 知識與產品查詢

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

能否請您再說明一下具體的問題？這樣我可以為您提供更準確的回答。

預期答案 · 加權拆解

I 核心必答 w 60%: 請至統一金流官網右上角【開發專區】左側功能列點選【API】【交易建立】【整合式支付頁】【Ver2.0】
此份技術文件內即揭露測試區官網、測試區URL及測試卡號等資訊

Judge 推理

回覆未能提供用戶所需的具體測試資訊，且未遵循規則直接回答知識內容，導致相關性、完整性和正確性均低。

案例 252534EC

查詢需要怎麼做啊

已完成

第 1 次嘗試 · 已完成 46341ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	請問最新的無線耳機有哪些推薦？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER查詢需要怎麼做啊

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！如果您想查詢訂單或相關資訊，請參考以下方式： 1. 訂單查詢： - 請登入統一金流平台，進入左側功能列【交易動態】→【交易動態明細】。 - 在上方篩選項目找到【指定條件】，下拉【查詢項目】選擇輸入 UNi 序號或商店訂單編號，按下紫色按鈕【查詢】即可看到該筆交易狀態。 2. 也可直接透過統一金流官網的交易查詢專區查詢指定訂單狀態： - 查詢連結：https://www.payuni.com.tw/transactions 如果您有其他特定的查詢需求（例如物流、優惠券、會員等），請再告訴我您的詳細問題，我會提供更精確的協助！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

43.3%

相關性: 80.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！如果您想查詢訂單或相關資訊，請參考以下方式： 1. 訂單查詢： - 請登入統一金流平台，進入左側功能列【交易動態】→【交易動態明細】。 - 在上方篩選項目找到【指定條件】，下拉【查詢項目】選擇輸入 UNi 序號或商店訂單編號，按下紫色按鈕【查詢】即可看到該筆交易狀態。 2. 也可直接透過統一金流官網的交易查詢專區查詢指定訂單狀態： - 查詢連結：https://www.payuni.com.tw/transactions 如果您有其他特定的查詢需求（例如物流、優惠券、會員等），請再告訴我您的詳細問題，我會提供更精確的協助！

預期答案 · 加權拆解

I 核心必答 w 60%: 系統會觸發查詢流程
統一處理知識庫與產品的查詢
使用並發搜尋提供完整資訊

Judge 推理

這個回覆雖然提供了查詢的具體步驟，但並未涵蓋系統查詢流程的核心內容，且未遵循規則僅回答知識內容的要求，因此在完整性和正確性上得分較低。

案例 9CE91C7D

能搜尋哪些知識跟產品?

已完成

第 1 次嘗試 · 已完成 46391ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER能搜尋哪些知識跟產品?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！目前可搜尋的知識與產品範圍包含： - 會員註冊、登入、帳號管理相關問題 - 交易流程、收款方與付款方操作說明 - 支付工具商店設定（如 icashPay APP 商店 LOGO 設定） - 超商物流與黑貓宅配的操作、費用、配送進度等常見問題 - 優惠券功能申請、建立、類型、折扣計算、發放條件與使用限制 - 手續費說明及洽談空間 - 金流簡介及操作手冊下載方式 - 商店不存在時的處理方式 - 商品交付完成期間填寫方式如果您有特定想查詢的知識或產品，歡迎告訴我主題，我可以幫您更精確搜尋相關資訊！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

43.3%

相關性: 80.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！目前可搜尋的知識與產品範圍包含： - 會員註冊、登入、帳號管理相關問題 - 交易流程、收款方與付款方操作說明 - 支付工具商店設定（如 icashPay APP 商店 LOGO 設定） - 超商物流與黑貓宅配的操作、費用、配送進度等常見問題 - 優惠券功能申請、建立、類型、折扣計算、發放條件與使用限制 - 手續費說明及洽談空間 - 金流簡介及操作手冊下載方式 - 商店不存在時的處理方式 - 商品交付完成期間填寫方式如果您有特定想查詢的知識或產品，歡迎告訴我主題，我可以幫您更精確搜尋相關資訊！

預期答案 · 加權拆解

I 核心必答 w 60%: 系統提供進階統一搜尋功能
可以支援跨知識庫、產品與連結資料的查詢
讓用戶能夠一次獲得完整的資訊

Judge 推理

回覆中提到的搜尋範圍並未完全符合系統的功能描述，且主動提供了產品推薦，違反了規則。

錯誤陳述 (1)

主動推薦產品

案例 29A31ACA

怎麼進入測試區?

已完成

第 1 次嘗試 · 已完成 44673ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER怎麼進入測試區?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！若您想進入測試區，請至統一金流官網右上角【開發專區】，在左側功能列點選【API】→【交易建立】→【整合式支付頁】→【Ver2.0】。該技術文件中會揭露測試區官網、測試區URL及測試卡號等資訊。您可以直接參考這份技術文件： https://docs.payuni.com.tw/web/#/7/34 如有其他相關問題，也歡迎隨時詢問！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: 100.0% · w 10%

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！若您想進入測試區，請至統一金流官網右上角【開發專區】，在左側功能列點選【API】→【交易建立】→【整合式支付頁】→【Ver2.0】。該技術文件中會揭露測試區官網、測試區URL及測試卡號等資訊。您可以直接參考這份技術文件： https://docs.payuni.com.tw/web/#/7/34 如有其他相關問題，也歡迎隨時詢問！

預期答案 · 加權拆解

I 核心必答 w 60%: 請至統一金流官網右上角【開發專區】左側功能列點選【API】【交易建立】【整合式支付頁】【Ver2.0】
III 補充說明 w 10%: 這份技術文件內即揭露測試區官網、測試區URL及測試卡號等資訊

Judge 推理

該回覆完整地回答了用戶的問題，並提供了必要的步驟和資訊，符合知識內容的要求，且沒有違反任何規則。

案例 9451B7E2

你們有什麼知識可以查詢的嗎?

已完成

第 1 次嘗試 · 已完成 56291ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER你們有什麼知識可以查詢的嗎?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！我們的知識庫可以協助您查詢以下相關主題： - 會員註冊、登入、帳號管理 - 交易流程、收款與付款方常見問題 - 手續費、退款、信託說明 - 支付工具商店設定（如 icashPay APP） - 超商物流與黑貓宅配操作與費用 - 優惠券申請、建立、發放及使用規則 - 負值帳戶處理方式 - 串接 APP 或 WordPress 的技術文件與開發資源 - 測試區及測試流程如果您有特定想查詢的主題，歡迎直接告訴我，我可以幫您快速找到相關資訊！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

76.7%

相關性: 90.0%
完整性: 60.0%
正確性: 80.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 10.0% · w 10%

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！我們的知識庫可以協助您查詢以下相關主題： - 會員註冊、登入、帳號管理 - 交易流程、收款與付款方常見問題 - 手續費、退款、信託說明 - 支付工具商店設定（如 icashPay APP） - 超商物流與黑貓宅配操作與費用 - 優惠券申請、建立、發放及使用規則 - 負值帳戶處理方式 - 串接 APP 或 WordPress 的技術文件與開發資源 - 測試區及測試流程如果您有特定想查詢的主題，歡迎直接告訴我，我可以幫您快速找到相關資訊！

預期答案 · 加權拆解

I 核心必答 w 60%: 我們統一處理知識庫查詢與產品資訊查詢
您可以提出任何問題或需求
III 補充說明 w 10%: 我們會盡快提供完整的資訊

Judge 推理

這個回覆的內容雖然提供了知識庫的查詢主題，但未能完整回答用戶的問題，缺少了統一處理知識庫查詢與產品資訊查詢的說明，且未提及用戶可以提出任何問題或需求。

案例 C1C6A9C1

請問有關於測試區的資訊，包括測試區網址和測試卡號，應該如何查詢呢？

已完成

第 1 次嘗試 · 已完成 36645ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER請問有關於測試區的資訊，包括測試區網址和測試卡號，應該如何查詢呢？

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於「測試區」的資訊，包括測試區網址和測試卡號，您可以依照以下方式查詢：請至統一金流官網右上角【開發專區】，在左側功能列點選【API】→【交易建立】→【整合式支付頁】→【Ver2.0】。在這份技術文件中，即有揭露測試區官網、測試區 URL 及測試卡號等相關資訊。您也可以直接參考這個連結： https://docs.payuni.com.tw/web/#/7/34 如需更詳細的操作指引或有其他問題，歡迎隨時告訴我！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7336 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於「測試區」的資訊，包括測試區網址和測試卡號，您可以依照以下方式查詢：請至統一金流官網右上角【開發專區】，在左側功能列點選【API】→【交易建立】→【整合式支付頁】→【Ver2.0】。在這份技術文件中，即有揭露測試區官網、測試區 URL 及測試卡號等相關資訊。您也可以直接參考這個連結： https://docs.payuni.com.tw/web/#/7/34 如需更詳細的操作指引或有其他問題，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%: 請至統一金流官網右上角【開發專區】左側功能列點選【API】【交易建立】【整合式支付頁】【Ver2.0】
此份技術文件內即揭露測試區官網、測試區URL及測試卡號等資訊

Judge 推理

這個回答完整地提供了用戶所需的測試區資訊，包括查詢步驟和相關連結，符合用戶的要求，且沒有違反任何規則。

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

100.0%

[100.0% – 100.0%] · n=9

F1 33.3% · 相關率 35.6% · 精確 20.0%

9 / 10 適用

不亂編造平均

faithfulness

90.0%

[70.0% – 100.0%] · n=10

10 / 10 適用

答得到位平均

answer_quality

87.7%

[72.3% – 98.7%] · n=10

10 / 10 適用

案例 127A0D29

什麼是非預付型態？

已完成
第 1 次嘗試 · 已完成 35129ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER什麼是非預付型態？

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！「非預付型態」指的是賣家所販售的商品皆為現貨，也就是說，消費者購買時不需要先預先支付款項，商品可以直接交付。相對於「預付型態」（需先付款後採買）來說，非預付型態較常見於現貨銷售。如果您還有其他相關問題，歡迎隨時詢問！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371763 · 商品交付型態占比例怎麼填

問題

商品交付型態占比例怎麼填

回答

請實際依販售商品型態占比填寫預付: 販售商品無現貨，需由消費者預先支付款項後，賣家進行採買。非預付: 賣家所販售之商品皆為現貨。儲值: 賣家提供儲值功能服務。遞延: 指消費者先一次繳清費用，再分次、分期或持續取得商品或服務，例如健身房會員、美容護膚課程等。

意料之外 (4)

! know_371764 · 什麼是履約保證

問題

什麼是履約保證

回答

會員需向銀行申請履約保證或信託服務，旨在保障消費者預付高額費用後，若會員歇業倒閉可減少損失。

! know_371848 · 續期收款是做什麼用的

問題

續期收款是做什麼用的

回答

提供會員於統一金流平台操作定期定額扣款服務詳細資訊請參考操作手冊第188頁 https://docs.payuni.com.tw/Public/Uploads/2026-01-08/695f553092f0e.pdf

! know_371818 · 為什麼要保留餘額

問題

為什麼要保留餘額

回答

因所販售之業態經統一金流風險控管單位評估為高風險產業，故需執行保留餘額機制意即UNi帳戶中將有部分款項無法提領，超逾保留餘額之金額才可進行提領後續若不需此額度可申請降額調回原始額度，約需120天保留餘額將會釋出

! know_371864 · 為什麼帳戶有負值/為什麼要匯回負值

問題

為什麼帳戶有負值/為什麼要匯回負值

回答

請登入統一金流平台至左側功能列【UNi帳戶】【帳戶明細】，上方篩選條件皆不需調整異動，請直接點選紫色【查詢】按鈕，即可查得負值原因。再麻煩協助依信件內之說明將款項匯回統一金流帳戶並回信至rm@payuni.com.tw告知匯款末五碼資訊。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆完全符合來源資料的定義，並且所有的事實陳述都有來源支持，因此沒有虛構的聲明。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！「非預付型態」指的是賣家所販售的商品皆為現貨，也就是說，消費者購買時不需要先預先支付款項，商品可以直接交付。相對於「預付型態」（需先付款後採買）來說，非預付型態較常見於現貨銷售。如果您還有其他相關問題，歡迎隨時詢問！

預期答案 · 加權拆解

I 核心必答 w 60%

非預付型態是指賣家所販售之商品皆為現貨

Judge 推理

這個回答完整地解釋了非預付型態的定義，並且與正確答案一致，沒有遺漏任何關鍵點。
案例 D8F7817A

我可以轉接真人客服嗎

已完成
第 1 次嘗試 · 已完成 19668ms
腳本進度 · 轉接真人客服 ✓ 已走完

STEP

01

觸發條件
● 已觸發轉接真人客服

腳本規則

- 當用戶要求轉接真人客服，例如：線上客服、真人客服、轉真人、找真人轉接真人客服的 Agent 情景

STEP

02

資訊收集
— 依規則行為（由「回答品質」評分）

此情境無結構化欄位需收集，但 spec rules 約束 bot 行為（驗證關卡、禁止外洩等）— 評分由 answer_quality + spec_rules 維度承擔

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 直接觸發轉接真人

測試 2 步 · 此案例不測 2 步
對話流程 · 1 turn

Turn 1 STEP 04

USER我可以轉接真人客服嗎

BOT目前僅提供線上協助，您可點此填寫表單留資料
PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質
26.7%

相關性

50.0%

完整性

30.0%

正確性

0.0%

加權拆解 · 三層 coverage

I 核心

0.0% · w 60%

轉接真人客服

II 重要

—

III 補充

—

AI 回覆

目前僅提供線上協助，您可點此填寫表單留資料

預期答案 · 加權拆解

I 核心必答 w 60%

轉接真人客服

Judge 推理

回覆未能直接轉接真人客服，且提供的資訊與用戶需求不符，因此在相關性、完整性和正確性上均表現不佳。

錯誤陳述 (1)

目前僅提供線上協助，您可點此填寫表單留資料
案例 213F258D

店到店寄送可以改取件門市嗎

已完成
第 1 次嘗試 · 已完成 27288ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER店到店寄送可以改取件門市嗎

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的資料，店到店寄送「在物流出貨單已列印但尚未實際寄送前」，您可以登入統一金流平台，依下列步驟修改取件門市： 1. 進入左側功能列【物流中心】>【物流明細列表】修改收件資料 2. 再到【寄件管理】修改取件門市請注意：如果包裹已經實際寄送，就無法再更改取件門市。如需更詳細操作說明，歡迎告知您的需求，我可以協助提供相關步驟！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371833 · 列印標籤後可以改收件資訊嗎

問題

列印標籤後可以改收件資訊嗎

回答

物流出貨單列印後未實際寄送前大宗寄倉: 可登入統一金流平台至左側功能列【物流中心】【物流明細列表】修改收件資料，至【寄件管理】修改取件門市店到店:可登入統一金流平台至左側功能列【物流中心】【物流明細列表】修改收件資料，至【寄件管理】修改取件門市黑貓宅配: 登入統一金流平台至左側功能列【物流中心】【物流明細列表】修改收件資料

意料之外 (4)

! know_371839 · 要怎麼退貨-店到店

問題

要怎麼退貨-店到店

回答

統一金流現行未提供店到店逆物流服務。

! know_371831 · 列印標籤後多久前要寄出

問題

列印標籤後多久前要寄出

回答

大宗寄倉-常溫: 列印物流出貨單時需輸入出貨日期，於出貨單日期14天內寄送至大智通物流中心，且不可早於出貨日期配達物流中心大宗寄倉-冷凍: 列印物流出貨單時需輸入出貨日期，並預約到府上收服務，於出貨單日期5天內寄送至統昶物流中心店到店: 從列印物流出貨單起算6天內需至超商門市寄件黑貓宅配: 未有特別限制寄出時間

! know_371838 · 要怎麼退貨-大宗寄倉

問題

要怎麼退貨-大宗寄倉

回答

消費者完成包裹取件後申請退貨，會員需登入統一金流平台至左側功能列【物流中心】【物流明細列表】上方篩選項目找到【指定查詢】欄位下拉【種類】選項，請擇一輸入商店訂單編號、UNi序號或出貨單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，點選最右側執行欄位【退貨】，再將退貨編號A_ _ _ _ _ _ _ _提供消費者至超商ibon機台列印物流標籤單並於門市櫃台寄出退件。

! know_371827 · 什麼是日退/週退?

問題

什麼是日退/週退?

回答

大宗寄倉退貨時間若選擇「日退」，請會員需於每週一至週六 08:00~12:00、13:00~15:30，至新北市樹林區佳園路二段70-1號自行領取退件，取件時請務必告知物流中心廠商母子代號。若退貨逾期未領則由物流中心隔日使用黑貓宅配貨到付款寄送至退貨地址。退貨時間若選擇「週退」：請會員選擇特定時間、指派指定貨運公司至物流中心領取退件。週二：新竹貨運或大榮貨運週三：自行取貨或派車取件週四：黑貓宅急便週五：大嘴鳥宅配通若退貨未於上述時間指派指定貨運至物流中心領取，則物流中心將於每週五使用黑貓宅配貨到付款寄送至退貨地址。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI的回覆完全符合來源資料，所有的事實陳述都有來源支持，因此沒有虛構的內容。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的資料，店到店寄送「在物流出貨單已列印但尚未實際寄送前」，您可以登入統一金流平台，依下列步驟修改取件門市： 1. 進入左側功能列【物流中心】>【物流明細列表】修改收件資料 2. 再到【寄件管理】修改取件門市請注意：如果包裹已經實際寄送，就無法再更改取件門市。如需更詳細操作說明，歡迎告知您的需求，我可以協助提供相關步驟！

預期答案 · 加權拆解

I 核心必答 w 60%

可以登入統一金流平台至左側功能列【物流中心】【物流明細列表】修改收件資料
可以至【寄件管理】修改取件門市

Judge 推理

這個回答完全符合用戶的問題，提供了正確的步驟來修改取件門市，並且沒有遺漏任何關鍵資訊。
案例 335DE982

註冊會員要審核多久?

已完成
第 1 次嘗試 · 已完成 31277ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER註冊會員要審核多久?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於「註冊會員要審核多久」的問題，根據官方說明： - 若您已經登入統一金流平台並補齊所有資料、上傳相關證件與文件，預計會在15個工作天內完成審核並寄發通知信。如果您的資料尚未補齊、待驗證信箱或需要重新送審，也請依平台指示完成相關步驟後，才會進入正式審核流程。如需查詢目前的審核狀態，建議您登入平台至【會員】【審核狀態】頁面查看。若有其他疑問或需要協助，歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371776 · 註冊會員要審核多久 (是否有API可查審核狀態及未通過原因)

問題

註冊會員要審核多久 (是否有API可查審核狀態及未通過原因)

回答

若已登入統一平台資料補齊並上傳相關證件、文件，預計將於15個工作天內完成審核寄發通知信。

意料之外 (4)

! know_371780 · 註冊會員要審核多久 -未重新送審-會員資料

問題

註冊會員要審核多久 -未重新送審-會員資料

回答

請登入統一金流平台至左側功能列【會員】【審核狀態】，找到未通過字樣，點選旁邊紅色按鈕【修改資料】將未通過原因調整後拉至頁面下方，點擊【重新送審】即可再次進入審核流程。

! know_371781 · 註冊會員要審核多久 -未重新送審-商店資料

問題

註冊會員要審核多久 -未重新送審-商店資料

回答

請登入統一金流平台至左側功能列【會員】【審核狀態】，找到未通過字樣，點選旁邊紅色按鈕【修改資料】將未通過原因調整後拉至頁面中間，找到【請說明重新審核原因】欄位，填寫完畢後點擊【重新送審】即可再次進入審核流程。

! know_371777 · 註冊會員要審核多久 -待補資料

問題

註冊會員要審核多久 -待補資料

回答

請登入統一金流平台將資料補齊並上傳相關證件、文件，預計將於15個工作天內完成審核寄發通知信。

! know_371778 · 註冊會員要審核多久 -待驗信箱

問題

註冊會員要審核多久 -待驗信箱

回答

請登入統一金流平台依彈窗顯示驗證電子信箱後，預計將於15個工作天內完成審核並寄發通知信。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆中提到的審核時間和流程均有來源支持，且所有的事實陳述都能找到相應的來源，因此沒有虛構的內容。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

100.0% · w 30%

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於「註冊會員要審核多久」的問題，根據官方說明： - 若您已經登入統一金流平台並補齊所有資料、上傳相關證件與文件，預計會在15個工作天內完成審核並寄發通知信。如果您的資料尚未補齊、待驗證信箱或需要重新送審，也請依平台指示完成相關步驟後，才會進入正式審核流程。如需查詢目前的審核狀態，建議您登入平台至【會員】【審核狀態】頁面查看。若有其他疑問或需要協助，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

預計將於15個工作天內完成審核寄發通知信

II 重要限制 w 30%

若已登入統一平台資料補齊並上傳相關證件、文件

Judge 推理

這個回答完整地涵蓋了用戶的問題，並且提供了所有必要的資訊，符合預期的回答風格。
案例 CC2BBA58

資料加解密怎麼使用?

已完成
第 1 次嘗試 · 已完成 21123ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER資料加解密怎麼使用?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於「資料加解密怎麼使用」的問題，請您前往統一金流官網右上角【開發專區】，在左側功能列選擇【資料加解密】，即可依照語法參考加解密的使用方式。詳細說明與操作步驟，請參考官方文件： https://docs.payuni.com.tw/web/#/7/56 如需更進一步的協助，歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371858 · 顯示資料解密失敗

問題

顯示資料解密失敗

回答

請至統一金流官網右上角【開發專區】左側功能列【資料加解密】，依語法選擇參考加解密方式 https://docs.payuni.com.tw/web/#/7/56

意料之外 (4)

! know_371771 · 註冊資料填寫一直顯示請求失敗

問題

註冊資料填寫一直顯示請求失敗

回答

請確認填寫資料中上傳圖檔是否為JPG、JEPG、PDF檔案，且檔案大小是否於2mb內若使用iPhone手機拍照上傳，請關閉原況拍攝，且圖檔不可為HEIC檔。

! know_371775 · 不想使用了怎麼刪除帳戶

問題

不想使用了怎麼刪除帳戶

回答

請至統一金流官網右上角【開發專區】左側功能列【相關文件即申請書下載】，點選【統一金流平台申請書】【文件下載】填寫編號00會員註銷帳號申請書進行帳號刪除，並於文件左下角勾選同意事項，右下角用印或親簽，將此份文件掃描或翻拍回傳提交客服 https://docs.payuni.com.tw/web/#/7/245

! know_371761 · 實質受益人怎麼填

問題

實質受益人怎麼填

回答

請參考操作手冊第9頁 https://docs.payuni.com.tw/Public/Uploads/2026-01-08/695f553092f0e.pdf

! know_371758 · 要怎麼使用統一金流

問題

要怎麼使用統一金流

回答

請直接於統一金流官網註冊成為會員，填寫基本資料及販售資訊後通過審核即可開通網路收款服務。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆完全依據來源資料，提供了正確的使用方式和連結，沒有任何虛構的內容。

回答品質
96.7%

相關性

100.0%

完整性

90.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

90.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！關於「資料加解密怎麼使用」的問題，請您前往統一金流官網右上角【開發專區】，在左側功能列選擇【資料加解密】，即可依照語法參考加解密的使用方式。詳細說明與操作步驟，請參考官方文件： https://docs.payuni.com.tw/web/#/7/56 如需更進一步的協助，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

請至統一金流官網右上角【開發專區】左側功能列【資料加解密】
依語法選擇參考加解密方式

Judge 推理

回覆內容針對使用資料加解密的問題提供了正確的指引，並且包含了必要的步驟與網址連結，雖然有額外的資訊，但未影響核心內容的完整性。
案例 9B9C020A

訂單的交易狀態怎麼查?

已完成
第 1 次嘗試 · 已完成 27660ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER訂單的交易狀態怎麼查?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！查詢訂單的交易狀態，您可以依照以下方式操作： 1. 請登入統一金流平台。 2. 點選左側功能列的【交易動態】→【交易動態明細】。 3. 在上方篩選項目找到【指定條件】欄位，下拉【查詢項目】選擇您要查詢的條件（如 UNi 序號或商店訂單編號）。 4. 輸入相關資訊後，按下下方紫色按鈕【查詢】。 5. 頁面下方會顯示查詢結果，即可檢視該筆訂單的交易狀態。您也可以直接前往統一金流官網的交易查詢專區：https://www.payuni.com.tw/transactions 如有其他問題，歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371879 · 訂單有付款成功嗎

問題

訂單有付款成功嗎

回答

可透過統一金流官網交易查詢專區查詢指定訂單交易狀態。 https://www.payuni.com.tw/transactions

意料之外 (4)

! know_371785 · 訂單有付款成功嗎

問題

訂單有付款成功嗎

回答

請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，上方篩選項目找到【指定條件】欄位下拉【查詢項目】選項，請輸入UNi序號或商店訂單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，即可檢視該筆交易狀態。

! know_371849 · 怎麼退款

問題

怎麼退款

回答

當日20:00前之交易，請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，上方篩選項目找到【指定條件】欄位下拉【查詢項目】選項，請輸入UNi序號或商店訂單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，點選最右側執行欄位【取消請款】，再點擊【取消授權】按鈕即可於消費者信用卡帳單將不會出現該筆交易紀錄。當日20:00後之交易，請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，上方篩選項目找到【指定條件】欄位下拉【查詢項目】選項，請輸入UNi序號或商店訂單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，點選最右側執行欄位【退款】，並於彈窗輸入退款金額即可於消費者信用卡帳單將出現一正一負之交易紀錄。

! know_371877 · 要審核多久

問題

要審核多久

回答

消費者上傳證件後最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。

! know_371784 · 為什麼刷不過/授權失敗是為什麼

問題

為什麼刷不過/授權失敗是為什麼

回答

請登入統一金流平台至左側功能列【交易動態】【交易動態明細】，上方篩選項目找到【指定條件】欄位下拉【查詢項目】選項，請輸入UNi序號或商店訂單編號，按下下方紫色按鈕【查詢】即可查得該筆指定訂單於頁面下方查詢結果，點選該筆指定訂單藍色字體UNi序號，即彈窗顯示訂單明細，於彈窗左下角即可檢視付款失敗原因。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI的回覆完全依據來源材料，提供了查詢訂單交易狀態的正確步驟，並且引用了官網的查詢專區連結，因此沒有任何虛構的內容。

回答品質
86.7%

相關性

100.0%

完整性

60.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

60.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！查詢訂單的交易狀態，您可以依照以下方式操作： 1. 請登入統一金流平台。 2. 點選左側功能列的【交易動態】→【交易動態明細】。 3. 在上方篩選項目找到【指定條件】欄位，下拉【查詢項目】選擇您要查詢的條件（如 UNi 序號或商店訂單編號）。 4. 輸入相關資訊後，按下下方紫色按鈕【查詢】。 5. 頁面下方會顯示查詢結果，即可檢視該筆訂單的交易狀態。您也可以直接前往統一金流官網的交易查詢專區：https://www.payuni.com.tw/transactions 如有其他問題，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

可透過統一金流官網交易查詢專區查詢指定訂單交易狀態

Judge 推理

回覆中提供了查詢訂單狀態的詳細步驟，但未直接提及可透過統一金流官網交易查詢專區查詢指定訂單交易狀態，導致核心內容的完整性不足。
案例 3C5D7EA0

驗證電子信箱後，審核多久完成

已完成
第 1 次嘗試 · 已完成 27821ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER驗證電子信箱後，審核多久完成

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前資料，當您完成電子信箱驗證後，審核作業預計會在15個工作天內完成，並會寄發通知信給您。如果有其他相關問題，也歡迎隨時詢問！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371778 · 註冊會員要審核多久 -待驗信箱

問題

註冊會員要審核多久 -待驗信箱

回答

請登入統一金流平台依彈窗顯示驗證電子信箱後，預計將於15個工作天內完成審核並寄發通知信。

意料之外 (4)

! know_371767 · 收不到電子信箱驗證

問題

收不到電子信箱驗證

回答

請確認信件是否掉入垃圾郵件匣，或該信箱是否已超過可使用容量。

! know_371877 · 要審核多久

問題

要審核多久

回答

消費者上傳證件後最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。

! know_371768 · 信箱打錯了收不到驗證信

問題

信箱打錯了收不到驗證信

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，找到電子信箱欄位點選紅色按鈕【重新發送驗證信】，即有彈窗顯示可進行電子信箱變更。

! know_371878 · 為什麼我的訂單都一直在審核中

問題

為什麼我的訂單都一直在審核中

回答

再麻煩協助提供UNi序號以利客服查詢，亦可於統一金流平台登入【買方會員】確認是否已成功上傳證件並執行信箱驗證流程。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆中提到的審核時間為15個工作天，這與來源中的資訊一致，因此該回覆的所有事實陳述均有來源支持，沒有虛構的內容。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前資料，當您完成電子信箱驗證後，審核作業預計會在15個工作天內完成，並會寄發通知信給您。如果有其他相關問題，也歡迎隨時詢問！

預期答案 · 加權拆解

I 核心必答 w 60%

預計將於15個工作天內完成審核並寄發通知信

Judge 推理

這個回答完全符合用戶的問題，提供了正確的審核時間和通知方式，且沒有遺漏任何關鍵資訊。
案例 C520AF8E

電子信箱是否已超過容量?

已完成
第 1 次嘗試 · 已完成 25443ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER電子信箱是否已超過容量?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據資料，若您收不到電子信箱驗證信，建議您先確認信件是否掉入垃圾郵件匣，或檢查該信箱是否已超過可使用容量。如果您的信箱容量已滿，可能會導致無法正常接收新郵件。如需進一步協助，請提供更多細節或聯繫您的電子信箱服務商確認容量狀態。
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371767 · 收不到電子信箱驗證

問題

收不到電子信箱驗證

回答

請確認信件是否掉入垃圾郵件匣，或該信箱是否已超過可使用容量。

意料之外 (4)

! know_371844 · 怎麼變更信箱

問題

怎麼變更信箱

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，找到電子信箱欄位點選紫色按鈕【變更電子信箱】，即有彈窗顯示可進行電子信箱變更。

! know_371768 · 信箱打錯了收不到驗證信

問題

信箱打錯了收不到驗證信

回答

請登入統一金流平台至左側功能列【會員】【帳號設定】，找到電子信箱欄位點選紅色按鈕【重新發送驗證信】，即有彈窗顯示可進行電子信箱變更。

! know_371778 · 註冊會員要審核多久 -待驗信箱

問題

註冊會員要審核多久 -待驗信箱

回答

請登入統一金流平台依彈窗顯示驗證電子信箱後，預計將於15個工作天內完成審核並寄發通知信。

! know_371842 · 登入帳號是什麼

問題

登入帳號是什麼

回答

再麻煩協助提供會員資訊及管理者電子信箱以利客服核對確認，後續將提供登入帳號資訊以利操作統一金流平台。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆中提到的信箱容量問題，完全符合來源資料的內容，因此沒有任何虛構的聲明。所有的事實陳述都可以從來源中找到支持，且引用的句子也都正確。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據資料，若您收不到電子信箱驗證信，建議您先確認信件是否掉入垃圾郵件匣，或檢查該信箱是否已超過可使用容量。如果您的信箱容量已滿，可能會導致無法正常接收新郵件。如需進一步協助，請提供更多細節或聯繫您的電子信箱服務商確認容量狀態。

預期答案 · 加權拆解

I 核心必答 w 60%

請確認該信箱是否已超過可使用容量

Judge 推理

這個回覆完全針對用戶的問題，並且提供了確認信箱容量的建議，符合核心必答的要求。回覆內容完整且正確，沒有遺漏或錯誤的資訊。
案例 7D0A88DD

使用統一金流需要填寫什麼資料?

已完成
第 1 次嘗試 · 已完成 36085ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER使用統一金流需要填寫什麼資料?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！使用統一金流時，註冊會員需要準備的資料會依會員資格不同而有所差異： - 個人會員：需上傳身分證件正反面及第二證件。 - 商業會員：需上傳負責人身分證件，並檢附變更登記表、統一編配書或相關行業立案證明文件。建議您先確認自己要申請的會員類型，再準備對應的資料。如果有其他細節想了解，歡迎隨時詢問！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371758 · 要怎麼使用統一金流

問題

要怎麼使用統一金流

回答

請直接於統一金流官網註冊成為會員，填寫基本資料及販售資訊後通過審核即可開通網路收款服務。

意料之外 (4)

! know_371885 · 申請物流需要什麼費用嗎

問題

申請物流需要什麼費用嗎

回答

可參考統一金流官網【服務介紹】【費用一覽】【物流服務費用】即揭露各項寄件費、代收費等資訊 https://www.payuni.com.tw/fee

! know_371858 · 顯示資料解密失敗

問題

顯示資料解密失敗

回答

請至統一金流官網右上角【開發專區】左側功能列【資料加解密】，依語法選擇參考加解密方式 https://docs.payuni.com.tw/web/#/7/56

! know_371775 · 不想使用了怎麼刪除帳戶

問題

不想使用了怎麼刪除帳戶

回答

請至統一金流官網右上角【開發專區】左側功能列【相關文件即申請書下載】，點選【統一金流平台申請書】【文件下載】填寫編號00會員註銷帳號申請書進行帳號刪除，並於文件左下角勾選同意事項，右下角用印或親簽，將此份文件掃描或翻拍回傳提交客服 https://docs.payuni.com.tw/web/#/7/245

! know_371759 · 註冊統一金流時需準備哪些資料

問題

註冊統一金流時需準備哪些資料

回答

因統一金流會員資格不同，需準備不同相關文件如: 個人會員請上傳身分證件正反面及第二證件商業會員請上傳負責人身分證件並檢附變更登記表、統一編配書或相關行業立案證明文件

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆內容完全符合來源資料，並且所有的事實陳述都有來源支持，因此沒有任何虛構的聲明。

回答品質
66.7%

相關性

80.0%

完整性

50.0%

正確性

70.0%

加權拆解 · 三層 coverage

I 核心

50.0% · w 60%

販售資訊

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！使用統一金流時，註冊會員需要準備的資料會依會員資格不同而有所差異： - 個人會員：需上傳身分證件正反面及第二證件。 - 商業會員：需上傳負責人身分證件，並檢附變更登記表、統一編配書或相關行業立案證明文件。建議您先確認自己要申請的會員類型，再準備對應的資料。如果有其他細節想了解，歡迎隨時詢問！

預期答案 · 加權拆解

I 核心必答 w 60%

使用統一金流需要填寫基本資料及販售資訊

Judge 推理

回覆中提到的資料主要針對會員類型的要求，但未提及販售資訊，導致完整性不足。雖然回覆有一定的相關性，但未能完全涵蓋所需的基本資料。
案例 B8957982

已經上傳證件後，多久會變付款成功?

已完成
第 1 次嘗試 · 已完成 46728ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER已經上傳證件後，多久會變付款成功?

BOT您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的規定，消費者上傳證件後，最晚會在7天內完成身份驗證並變更該筆訂單的交易狀態。如果您有其他疑問或需要查詢訂單狀態，也可以提供您的 UNi 序號，讓我們協助查詢。如需進一步協助，歡迎隨時告訴我！
知識檢索
100.0%

Precision

20.0%

Recall

100.0%

F1

33.3%

預期 (1)

✓ know_371876 · 已經上傳證件了什麼時候會變付款成功

問題

已經上傳證件了什麼時候會變付款成功

回答

消費者上傳證件後最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。

意料之外 (4)

! know_371877 · 要審核多久

問題

要審核多久

回答

消費者上傳證件後最晚將於7天內完成身份驗證並變更該筆訂單交易狀態。

! know_371878 · 為什麼我的訂單都一直在審核中

問題

為什麼我的訂單都一直在審核中

回答

再麻煩協助提供UNi序號以利客服查詢，亦可於統一金流平台登入【買方會員】確認是否已成功上傳證件並執行信箱驗證流程。

! know_371879 · 訂單有付款成功嗎

問題

訂單有付款成功嗎

回答

可透過統一金流官網交易查詢專區查詢指定訂單交易狀態。 https://www.payuni.com.tw/transactions

! know_371777 · 註冊會員要審核多久 -待補資料

問題

註冊會員要審核多久 -待補資料

回答

請登入統一金流平台將資料補齊並上傳相關證件、文件，預計將於15個工作天內完成審核寄發通知信。

TP 1

FP 4

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI 的回覆中提到的「最晚會在7天內完成身份驗證並變更該筆訂單的交易狀態」完全符合來源資料的內容，因此所有的事實陳述都是有根據的。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 PAYUNi AI 小幫手，很高興為您服務！根據目前的規定，消費者上傳證件後，最晚會在7天內完成身份驗證並變更該筆訂單的交易狀態。如果您有其他疑問或需要查詢訂單狀態，也可以提供您的 UNi 序號，讓我們協助查詢。如需進一步協助，歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%

消費者上傳證件後最晚將於7天內完成身份驗證
該筆訂單交易狀態將變更

Judge 推理

該回覆完整回答了用戶的問題，並且提供了正確的資訊，符合預期的回覆風格。

Cost & Tokens

Bot 設定快照

Judge 設定快照

知識庫精準度

維度總表

請問如果收不到電子信箱驗證要怎麼辦？

觸發條件

資訊收集

API 工具

回覆規則

可以在哪裡查詢訂單交易狀態?

觸發條件

資訊收集

API 工具

回覆規則

怎麼關閉個資管理的頁面顯示設定?

觸發條件

資訊收集

API 工具

回覆規則

消費者使用刷卡分期時，手續費可以轉嫁嗎

觸發條件

資訊收集

API 工具

回覆規則

上傳證件後，身份驗證要多久?

觸發條件

資訊收集

API 工具

回覆規則

為什麼提領狀態顯示處理失敗?

觸發條件

資訊收集

API 工具

回覆規則

變更帳號怎麼做

觸發條件

資訊收集

API 工具

回覆規則

使用統一金流需要先註冊嗎

觸發條件

資訊收集

API 工具

回覆規則

註冊會員審核後會有通知信嗎

觸發條件

資訊收集

API 工具

回覆規則

UNi帳戶的金融帳戶資訊在哪裡看?

觸發條件

資訊收集

API 工具

回覆規則

情境調用與完成

維度總表

查詢有關測試區的資訊，請問要怎麼做測試?

觸發條件

資訊收集

API 工具

回覆規則

如何查詢你們的產品資訊或知識？

觸發條件

資訊收集

API 工具

回覆規則

請問我要怎麼做測試，測試區的網址是什麼？

觸發條件

資訊收集

API 工具

回覆規則

你們的系統可以一次搜尋產品和知識庫的資料嗎?

觸發條件

資訊收集

API 工具

回覆規則

怎麼做測試啊?

觸發條件

資訊收集