產出 #283

env=production · MatrixCloud AI Agent (2ebddf81-c4c2-4f7f-9f3a-c4843cd13954) · eval_kind=kb_accuracy

已完成
已寫入
5 / 10
通過驗證
5
場景覆蓋
1 / 3
總成本
$0.0454
Tokens
↑371575 / ↓14955
MISSED
2 個 scenario 未被任何 case 涵蓋：841, 839。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-2ebddf81-r1-053959053。
案例明細（83 筆 — 含已寫入、被拒、retry 軌跡）
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：소프트폰 업데이트 안내(v1.1.8) know_73556 
      Q: 소프트폰 업데이트 안내(v1.1.8)
A: 발표일
배포 시작일
배포 종료일


2024년 1월 17일
2024년 1월 16일
2024년 1월 16일



2024년 1월 MatrixCloud WebRTC 소프트폰 v 1.1.8 업그레이드 소식을 안내해 드립니다.
 
기능 개선 항목 
 
1. 멀티 벨소리 출력 장치 선택 기능 추가
헤드셋에서 벨소리가 울리는 것 뿐만 아니라 추가 스피커를 지정하여 동시에 벨소리 출력 기능을 지원합니다.

Jabra 제품 중에서 헤드셋 벨소리 출력 기능이 있는 제품의 사용은 제한됩니다.
같은 디바이스의 출력 장치를 복수로 선택하는 것은 권장되지 않습니다.
이 기능을 사용하지 않으려면, 옵션에서 비활성화 할 수 있습니다.



 
2. WebSocket 끊김 알림 옵션 제공


타사 솔루션과 연동하여 사용 중 연결이 끊어졌을 때 알림을 끄고 켤 수 있습니다.




 
3. 상담원 보호멘트 송출 방법 변경
보호멘트 송출을 위한 호전환 방식을 내부 호전환으로 변경 처리하였으며 사용자 경험상에는
    Q
    請問軟體版本 1.1.8 的發布開始日期是什麼時候？
    A
    軟體版本 1.1.8 的發布開始日期是2024年1月16日。
    原因
    • 答案與資料來源的重疊度只有 25.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：소프트폰 업데이트 안내(v1.1.8) know_73556 
      Q: 소프트폰 업데이트 안내(v1.1.8)
A: 발표일
배포 시작일
배포 종료일


2024년 1월 17일
2024년 1월 16일
2024년 1월 16일



2024년 1월 MatrixCloud WebRTC 소프트폰 v 1.1.8 업그레이드 소식을 안내해 드립니다.
 
기능 개선 항목 
 
1. 멀티 벨소리 출력 장치 선택 기능 추가
헤드셋에서 벨소리가 울리는 것 뿐만 아니라 추가 스피커를 지정하여 동시에 벨소리 출력 기능을 지원합니다.

Jabra 제품 중에서 헤드셋 벨소리 출력 기능이 있는 제품의 사용은 제한됩니다.
같은 디바이스의 출력 장치를 복수로 선택하는 것은 권장되지 않습니다.
이 기능을 사용하지 않으려면, 옵션에서 비활성화 할 수 있습니다.



 
2. WebSocket 끊김 알림 옵션 제공


타사 솔루션과 연동하여 사용 중 연결이 끊어졌을 때 알림을 끄고 켤 수 있습니다.




 
3. 상담원 보호멘트 송출 방법 변경
보호멘트 송출을 위한 호전환 방식을 내부 호전환으로 변경 처리하였으며 사용자 경험상에는
    Q
    請問素軟體 v1.1.8 的發佈開始日期是什麼時候？
    A
    素軟體 v1.1.8 的發佈開始日期是2024年1月16日。
    原因
    • 答案與資料來源的重疊度只有 29.2%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • Judge LLM 拒絕 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：소프트폰 업데이트 안내(v1.1.8) know_73556 
      Q: 소프트폰 업데이트 안내(v1.1.8)
A: 발표일
배포 시작일
배포 종료일


2024년 1월 17일
2024년 1월 16일
2024년 1월 16일



2024년 1월 MatrixCloud WebRTC 소프트폰 v 1.1.8 업그레이드 소식을 안내해 드립니다.
 
기능 개선 항목 
 
1. 멀티 벨소리 출력 장치 선택 기능 추가
헤드셋에서 벨소리가 울리는 것 뿐만 아니라 추가 스피커를 지정하여 동시에 벨소리 출력 기능을 지원합니다.

Jabra 제품 중에서 헤드셋 벨소리 출력 기능이 있는 제품의 사용은 제한됩니다.
같은 디바이스의 출력 장치를 복수로 선택하는 것은 권장되지 않습니다.
이 기능을 사용하지 않으려면, 옵션에서 비활성화 할 수 있습니다.



 
2. WebSocket 끊김 알림 옵션 제공


타사 솔루션과 연동하여 사용 중 연결이 끊어졌을 때 알림을 끄고 켤 수 있습니다.




 
3. 상담원 보호멘트 송출 방법 변경
보호멘트 송출을 위한 호전환 방식을 내부 호전환으로 변경 처리하였으며 사용자 경험상에는
    Q
    請問소프트폰 v1.1.8的發佈日期是什麼時候？
    A
    소프트폰 v1.1.8的發佈日期是2024年1月16日。
    原因
    • The answer states the release date as January 16, 2024, but the source indicates that the distribution start date is January 17, 2024, and the distribution end date is January 16, 2024.
    • Judge LLM 認為答案與資料來源有事實出入