產出 #663

env=production · 科宇數位 AI 小幫手 (28bb1f66-4628-431c-95f0-6caebfebdfe5) · eval_kind=mixed_qa

已完成

已寫入

10 / 10

通過驗證

場景覆蓋

1 / 6

總成本

$0.0135

Tokens

↑99527 / ↓4056

MISSED

5 個 scenario 未被任何 case 涵蓋：1126, 699, 1043, 698, 971。可以重新派發、增加 N 來補。

SUITE

✅ 已寫入 EvalSuite auto-28bb1f66-r1-054000444。

案例明細（20 筆 — 含已寫入、被拒、retry 軌跡）

已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）
- • 知識：如何下載印表機驅動程式？ know_101295
```
Q: 如何下載印表機驅動程式？
A: 可至科宇官網下載驅動程式 ( https://keyu.com.tw/support/ )
```
Q

科宇官網的網址是什麼？

A

科宇官網的網址是 https://keyu.com.tw/support/
Judge LLM 拒絕直接問答

來源素材（點擊查看完整內容）
- • 工具：電商訂單搜尋 executor — 打 JTCG SaaS API + vendor parser 格式化 51
```
電商訂單搜尋 executor — 打 JTCG SaaS API + vendor parser 格式化 (shopline_search_orders)

Search for order details based on the information user provided.
```
Q

電商訂單搜尋是怎麼格式化數據的?

A

電商訂單搜尋使用 JTCG SaaS API 和 vendor parser 來格式化數據。
原因
- The answer introduces 'vendor parser' without clear support from the sources.
- Judge LLM 認為答案與資料來源有事實出入
語氣不像真人 chat（被 Stage E 拒絕）直接問答第 2 次嘗試

來源素材（點擊查看完整內容）
- • 工具：電商訂單搜尋 executor — 打 JTCG SaaS API + vendor parser 格式化 51
```
電商訂單搜尋 executor — 打 JTCG SaaS API + vendor parser 格式化 (shopline_search_orders)

Search for order details based on the information user provided.
```
Q

電商訂單搜尋是怎麼格式化的?

A

電商訂單搜尋會使用 JTCG SaaS API 並透過 vendor parser 格式化數據。
原因
- chat-realism: vague_meta (The question is vague and asks about the general formatting of e-commerce order searches, which is not a concrete inq...)
Judge LLM 拒絕直接問答第 3 次嘗試

來源素材（點擊查看完整內容）
- • 工具：電商訂單搜尋 executor — 打 JTCG SaaS API + vendor parser 格式化 51
```
電商訂單搜尋 executor — 打 JTCG SaaS API + vendor parser 格式化 (shopline_search_orders)

Search for order details based on the information user provided.
```
Q

電商訂單搜尋使用 vendor parser 是怎樣的?

A

電商訂單搜尋 executor 是透過打 JTCG SaaS API 並使用 vendor parser 來格式化訂單數據的。
原因
- The answer incorrectly states '電商訂單搜尋 executor' instead of '電商訂單搜尋使用 vendor parser' as the main focus of the question.

已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）

• 對話流程：訂單查詢 700

訂單查詢

## 1. 觸發條件
- When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).

訂單查詢的 Agent 情景

## 3. API 工具
1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊

## 4. 回覆規則
- Provide clear and concise answers based on order search results from tool messages
- If multiple relevant orders found, combine them logically
- If no relevant order found, acknowledge and offer to check with customer service

我的訂單查詢怎麼做？

要查詢訂單，請提供您的個人資訊，例如訂單編號與聯絡電話。

已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）
- • 知識：印出效果有問題 know_101270
```
Q: 印出效果有問題
A: 1.未提供效果檔：要請您拍照提供目前印出的效果圖給我們喔。
2.已提供效果檔：您好，將會幫您轉接專人，協助處理您的問題，請耐心等候。
```
Q

如果沒提供效果檔，要怎麼辦?

A

要請您拍照提供目前印出的效果圖給我們喔。
語氣不像真人 chat（被 Stage E 拒絕）直接問答

來源素材（點擊查看完整內容）
- • 知識：科宇提供哪些服務？ know_101243
```
Q: 科宇提供哪些服務？
A: 科宇提供印表機銷售、維修、耗材更換與技術支援服務，協助客戶挑選合適設備並提供完善售後。
```
Q

科宇提供哪些售後服務?

A

科宇提供印表機銷售、維修、耗材更換與技術支援服務，協助客戶挑選合適設備並提供完善售後。
原因
- chat-realism: formal_chinese (The phrasing '提供哪些售後服務' is too formal for a typical customer chat.)
語氣不像真人 chat（被 Stage E 拒絕）直接問答第 2 次嘗試

來源素材（點擊查看完整內容）
- • 知識：科宇提供哪些服務？ know_101243
```
Q: 科宇提供哪些服務？
A: 科宇提供印表機銷售、維修、耗材更換與技術支援服務，協助客戶挑選合適設備並提供完善售後。
```
Q

科宇的售後服務有哪些？

A

科宇提供印表機銷售、維修、耗材更換與技術支援服務，協助客戶挑選合適設備並提供完善售後。
原因
- chat-realism: formal_chinese (The phrase '售後服務有哪些' is too formal for a typical customer inquiry in chat.)
其他直接問答第 3 次嘗試

來源素材（點擊查看完整內容）
- • 知識：科宇提供哪些服務？ know_101243
```
Q: 科宇提供哪些服務？
A: 科宇提供印表機銷售、維修、耗材更換與技術支援服務，協助客戶挑選合適設備並提供完善售後。
```
Q

科宇的售後服務有哪些？

A

科宇提供印表機銷售、維修、耗材更換與技術支援服務，並提供完善售後。
原因
- duplicate (scenario, question)
已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）
- • 知識：如何避免印表機卡紙？ know_101266
```
Q: 如何避免印表機卡紙？
A: 使用平整紙張、調整紙匣緊度、避免放入潮濕或皺摺的紙張。
```
Q

調整紙匣緊度可以怎麼避免卡紙?

A

調整紙匣的緊度可以降低印表機卡紙的機率。
Judge LLM 拒絕直接問答

來源素材（點擊查看完整內容）
- • 知識：列印時，會需要到機器端點選才可以印 know_101268
```
Q: 列印時，會需要到機器端點選才可以印
A: 麻煩先確認機器的紙匣設定是否皆為「A4、普通紙」。
```
Q

列印時需要到機器端點選嗎

A

列印時，會需要到機器端點選才可以印。
原因
- The answer incorrectly states that selecting at the machine is required for printing, while the source suggests checking the paper tray settings instead.
已寫入 EvalSuite 直接問答第 2 次嘗試

來源素材（點擊查看完整內容）
- • 知識：列印時，會需要到機器端點選才可以印 know_101268
```
Q: 列印時，會需要到機器端點選才可以印
A: 麻煩先確認機器的紙匣設定是否皆為「A4、普通紙」。
```
Q

列印時需要到機器端點選嗎

A

麻煩先確認機器的紙匣設定是否皆為「A4、普通紙」。
品質檢查未通過直接問答

來源素材（點擊查看完整內容）
- • 知識：你好、哈囉、嗨、丟一張圖 know_101249
```
Q: 你好、哈囉、嗨、丟一張圖
A: 您好，請問您目前需要什麼協助？
```
Q

請問我可以用什麼打招呼呢？

A

您可以使用「你好」、「哈囉」或「嗨」來打招呼。
原因
- 答案與資料來源的重疊度只有 21.4%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
品質檢查未通過直接問答第 2 次嘗試

來源素材（點擊查看完整內容）
- • 知識：你好、哈囉、嗨、丟一張圖 know_101249
```
Q: 你好、哈囉、嗨、丟一張圖
A: 您好，請問您目前需要什麼協助？
```
Q

請問可以用什麼打招呼呢？

A

您可以使用「你好」、「哈囉」或「嗨」來打招呼。
原因
- 答案與資料來源的重疊度只有 21.4%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
品質檢查未通過直接問答第 3 次嘗試

來源素材（點擊查看完整內容）
- • 知識：你好、哈囉、嗨、丟一張圖 know_101249
```
Q: 你好、哈囉、嗨、丟一張圖
A: 您好，請問您目前需要什麼協助？
```
Q

請問我可以用什麼招呼語來打招呼？

A

您可以使用「你好」、「哈囉」或「嗨」來打招呼。
原因
- 答案與資料來源的重疊度只有 21.4%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）
- • 知識：印表機要選多功能還是單功能？ know_101308
```
Q: 印表機要選多功能還是單功能？
A: 若需掃描、影印、傳真等功能→選擇多功能事務機；若僅需列印功能 →選擇單功能印表機
```
Q

多功能事務機可以做什麼?

A

多功能事務機可以提供掃描、影印和傳真功能。
已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）
- • 知識：掃描歪斜、列印複印歪斜 know_101279
```
Q: 掃描歪斜、列印複印歪斜
A: 您好，請您確認紙張是否夾緊，再協助測試，謝謝您。
```
Q

為什麼掃描會歪斜？

A

您好，請您確認紙張是否夾緊，再協助測試，謝謝您。
已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）
- • 知識：報修完機器好了不需要工程師 know_101246
```
Q: 報修完機器好了不需要工程師
A: 好的，請您再觀察使用狀況，後續如有任何問題，請隨時與本司聯繫，謝謝您。
```
Q

報修後機器需要工程師嗎

A

好的，請您再觀察使用狀況，後續如有任何問題，請隨時與本司聯繫，謝謝您。
已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）
- • 知識：要如何印厚紙、獎狀紙、賀卡 know_101269
```
Q: 要如何印厚紙、獎狀紙、賀卡
A: 若有需要印特殊材質的紙張，要先將紙張放置手送紙匣處，再將電腦端及機器端的紙張材質修改為「厚紙模式」。
```
Q

印厚紙前要做什麼設定？

A

若有需要印特殊材質的紙張，要先將紙張放置手送紙匣處，再將電腦端及機器端的紙張材質修改為「厚紙模式」。
已寫入 EvalSuite 直接問答

來源素材（點擊查看完整內容）
- • 知識：M5520這一台設備如何操作掃描 know_101277
```
Q: M5520這一台設備如何操作掃描
A: 傳送(按鍵)→地址簿(按鍵)→(選擇掃描使用者名稱)→OK(按鍵)→OK(按鍵)→啟動(按鍵)
```
Q

M5520設備掃描要按哪些按鍵?

A

掃描時需要按下傳送按鍵，然後按地址簿按鍵以選擇使用者名稱，最後按 OK 按鍵啟動。