產出 #52
env=production · AI 客服小幫手 (344abf82-2e21-4cad-be82-7d4e06c122e3) · eval_kind=kb_accuracy
已完成
10 / 10
10
1 / 4
$0.0215
↑169756 / ↓5978
MISSED
3 個 scenario 未被任何 case 涵蓋:
2633, 2636, 2637。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-344abf82-r1-053958117。
案例明細(37 筆 — 含已寫入、被拒、retry 軌跡)
-
品質檢查未通過 直接問答 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 產品:素色T桖 prod_72654
素色T桖 Summary:
Q素色T桖是什麼樣的服裝?A素色T桖是一種基本款式的服裝。原因- 答案與資料來源的重疊度只有 23.1%(門檻 30%)—— LLM 寫的答案可能偏離了來源,有 hallucination 風險
-
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 產品:F不知道幾 prod_72689
F不知道幾 Summary:
Q這款 F不知道幾 多少錢?A這款 F不知道幾 的售價是 F不知道幾。 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 產品:福爾摩沙淺海海蛋 修改過V1 prod_72712
福爾摩沙淺海海蛋 修改過V1 Summary: 探索福爾摩沙淺海海蛋,感受純淨的海洋滋味。 每一顆海蛋都來自無污染的淺海,保留最天然的鮮美。 富含Omega-3與多種營養素,呵護您的健康。 無論是生食還是料理,都是餐桌上的極品選擇。 立即體驗這份來自海洋的珍饈,讓味蕾沉浸在海的懷抱中! Description: 測試文字
Q福爾摩沙淺海海蛋適合生食嗎A福爾摩沙淺海海蛋無論是生食還是料理,都是餐桌上的極品選擇。 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 產品:日本A5和牛-無SKU2 prod_72656
日本A5和牛-無SKU2 Summary:
Q這款產品是什麼牛?A這款產品是日本A5和牛。 -
-
語氣不像真人 chat(被 Stage E 拒絕) 直接問答來源素材(點擊查看完整內容)
-
• 產品:測試商品123 prod_72711
測試商品123 Summary:
Q測試商品123是什麼產品?A測試商品123原因- chat-realism: sku_prefix_leak (The question contains a bare internal SKU prefix '商品123', which real customers typically do not use.)
-
-
其他 直接問答 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 產品:測試商品123 prod_72711
測試商品123 Summary:
Q測試商品123是什麼產品?A測試商品123是一個產品。原因- duplicate (scenario, question)
-
-
其他 直接問答 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 產品:測試商品123 prod_72711
測試商品123 Summary:
Q測試商品123是什麼產品?A測試商品123原因- duplicate (scenario, question)
-
-
Judge LLM 拒絕 直接問答來源素材(點擊查看完整內容)
-
• 產品:LB 粉厲害的腮紅 prod_72657
LB 粉厲害的腮紅 Summary:
QLB 粉厲害的腮紅有多少種顏色可選擇?ALB 粉厲害的腮紅有多種顏色可供選擇。原因- The sources do not provide specific information about the number of colors available for LB 粉厲害的腮紅.
- Judge LLM 認為這題從資料來源無法答出來
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
-
Judge LLM 拒絕 直接問答 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 產品:LB 粉厲害的腮紅 prod_72657
LB 粉厲害的腮紅 Summary:
QLB 粉厲害的腮紅有幾種顏色呢?ALB 粉厲害的腮紅有多種顏色可供選擇。原因- The sources do not provide specific information about the number of colors available for LB 粉厲害的腮紅.
- Judge LLM 認為這題從資料來源無法答出來
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
-
Judge LLM 拒絕 直接問答 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 產品:LB 粉厲害的腮紅 prod_72657
LB 粉厲害的腮紅 Summary:
QLB 粉厲害的腮紅有幾種顏色呢?ALB 粉厲害的腮紅有多種顏色可供選擇。原因- The sources do not provide specific information about the number of colors available for LB 粉厲害的腮紅.
- Judge LLM 認為這題從資料來源無法答出來
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
-
品質檢查未通過 直接問答來源素材(點擊查看完整內容)
-
• 產品:保濕水 prod_72697
保濕水 Summary:
Q保濕水可以用來做日常護膚嗎A保濕水適合用於日常護膚程序中。原因- 答案與資料來源的重疊度只有 15.4%(門檻 30%)—— LLM 寫的答案可能偏離了來源,有 hallucination 風險
-
-
品質檢查未通過 直接問答 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 產品:保濕水 prod_72697
保濕水 Summary:
Q保濕水可以用來日常護膚嗎A可以,保濕水可以用於日常護膚程序中。原因- 答案與資料來源的重疊度只有 14.3%(門檻 30%)—— LLM 寫的答案可能偏離了來源,有 hallucination 風險
-
-
品質檢查未通過 直接問答 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 產品:保濕水 prod_72697
保濕水 Summary:
Q保濕水可以用在日常護膚程序嗎A保濕水可以用於日常護膚程序中。原因- 答案與資料來源的重疊度只有 15.4%(門檻 30%)—— LLM 寫的答案可能偏離了來源,有 hallucination 風險
-
-
語意近重複(被 Stage C 拒絕) 直接問答來源素材(點擊查看完整內容)
-
• 產品:女款夏季美國風印花短 T prod_72651
女款夏季美國風印花短 T Summary:
Q請問這款短 T 適合夏季穿著嗎?A這款女款夏季美國風印花短 T 是專為夏季設計的,適合在夏季穿著。原因- semantic duplicate of "這款短 T 恤適合夏季穿著嗎" (cosine=0.934 ≥ 0.8)
-
-
語意近重複(被 Stage C 拒絕) 直接問答 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 產品:女款夏季美國風印花短 T prod_72651
女款夏季美國風印花短 T Summary:
Q這款女款夏季美國風印花短 T 適合夏季穿著嗎?A這款女款夏季美國風印花短 T 是專為夏季設計的,適合在夏季穿著。原因- semantic duplicate of "這款短 T 恤適合夏季穿著嗎" (cosine=0.822 ≥ 0.8)
-
-
語意近重複(被 Stage C 拒絕) 直接問答 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 產品:女款夏季美國風印花短 T prod_72651
女款夏季美國風印花短 T Summary:
Q這款短 T 適合夏季穿著嗎?A這款女款夏季美國風印花短 T 非常適合夏季穿著。原因- semantic duplicate of "這款短 T 恤適合夏季穿著嗎" (cosine=0.955 ≥ 0.8)
-
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 產品:ipad 0 元 prod_72676
ipad 0 元 Summary: 探索無限可能的iPad,讓創意與效率並行。 高效能處理器,流暢運行各類應用。 超清顯示螢幕,完美呈現每一細節。 輕巧設計,隨時隨地輕鬆攜帶。 適合學習、工作與娛樂的多元用途。 立即體驗,開啟數位新生活!
Q請問 iPad 可以提升我的創意與效率嗎?AiPad 可以幫助用戶探索無限可能,提升創意與效率。 -