I. VITAL SIGNS

各項目健康度概覽

項目一: 知識庫精準度 (10 cases)

各維度品質分 · 覆蓋率

找對資料召回

retrieval

100.0%

[100.0% – 100.0%] · n=10

F1 18.2% · 相關率 22.0% · 精確 10.0%

10 / 10 適用

不亂編造平均

faithfulness

100.0%

[100.0% – 100.0%] · n=10

10 / 10 適用

答得到位平均

answer_quality

98.3%

[96.7% – 99.7%] · n=10

10 / 10 適用

項目二: 情境調用與完成 (10 cases)

各維度品質分 · 覆蓋率

走對流程召回

scenario

80.0%

[50.0% – 100.0%] · n=10

F1 73.3% · 召回 80.0% · 精確 70.0%

10 / 10 適用

用對工具召回

tool_usage

33.3%

[0.0% – 66.7%] · n=6

F1 40.0% · 召回 37.5% · 精確 66.7%

6 / 10 適用

答得到位平均

answer_quality

78.3%

[60.3% – 92.7%] · n=10

10 / 10 適用

II. RUN ECONOMICS

本次 Run 的 LLM 成本概覽

Judge 總成本（USD） $0.0358 82 次 judge 呼叫

Judge 總 Token 數 264,349 輸入 251,201 · 輸出 13,148

LLM 成本來源追蹤狀態
來源	追蹤狀態	數值	備註
Eris Case Generator	已追蹤	$0.0676 450,062 tokens · 201 calls	案例生成階段 LLM 呼叫（sampler / info_held / validator / kb_matcher / response_rules judge）— Round 8 起 CostTracker 自動寫入 EvalCaseGeneration 對應欄位
Eris LLM Judge	已追蹤	$0.0358 264,349 tokens	EvalJudgement 表記錄真實 OpenAI usage（faithfulness / answer_quality / retrieval_relevance 三類 judge）
Neptune Bot Inference	受阻	—	Neptune `unified_llm.tool_calling_stream` streaming 模式下 final chunk 未帶 usage（OpenAI `stream_options.include_usage` 未啟用），導致 `metadata.usage` 全 0。Eris 端無法從 chat response 重建。Fix 在 Neptune team 的 tracking ticket 內。
UserSimulator	尚未實作	—	UserSimulator multi-turn LLM 呼叫目前 Eris 沒寫追蹤；這部分要新增 service + 在 simulator client 裡寫入 token 紀錄

Judge	次數	Input	Output	Cost
忠實度（faithfulness）	30	98,102	6,380	$0.0162
回答品質（answer_quality）	30	116,547	5,960	$0.0139
檢索相關性（retrieval_relevance）	22	36,552	808	$0.0057

III. ACTIONABLE FINDINGS

優先處理項目

依「最低分 sub-metric」排序的 worst-3 case，標示出此 run 中最該優先檢視的 scenario × 維度組合。每筆同時列出實際觸發低分的 sub-metric 名稱，方便定位是 KB 漏洞、工具排序問題、還是規則違反。

01

訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整工具使用

0.0% n=1 最低 sub_metric： tools_precision
02

取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整工具使用

0.0% n=1 最低 sub_metric： tools_precision
03

大掃除服務範圍（地區判斷）-pico調整檢索

0.0% n=1 最低 sub_metric： knowledges_source_recall

IV. DEEP DIVE

全段詳細數據

# 兩項目評估報告

- **EvalRun**: #131（suite #73 `auto-a0b5792d-r1-053958794`）
- **Target**: #1 production-baseline
- **Cases**: 30（N=1, attempts=30/30）
- **Generated**: 2026-05-16T13:16:39+08:00

本報告含兩個獨立評估項目。**項目一** 評估 bot 進入「知識與產品查詢」fallback
後的撈取 + 回答能力；**項目二** 評估 bot 跨全 enabled scenarios 的 routing →
tool → answer 三段 funnel 健康度。


---

## 項目一: 知識庫精準度

## 評估範圍 (prerequisite: 進對 scenario)

- **進對 scenario 的 attempts**: 10 / 30 (33.3%)
- 只對這些 attempts 算 retrieval + answer
- 沒進對 scenario 的 attempts → 排除（routing 失敗不該污染 KB 訊號）


## Per-scenario 評估

| Scenario | qualifying / total attempts | retrieval_relevance | answer_correctness |
|---|---|---|---|
| 知識與產品查詢 | 10 / 10 | ❌ 45.6% | ✅ 100.0% |


## 待修方向（worst-3）

1. **知識與產品查詢 × retrieval_relevance** = 45.6% — 撈到的 KB chunks 不夠相關 — KB content gap，跟 Neptune team 提 enrichment
2. **知識與產品查詢 × answer_correctness** = 100.0% — 回答內容有問題 — 細看 hallucination_rate vs answer_quality 哪邊低

---

## 項目二: 情境調用與完成

## 整體 funnel（全 scenarios 加總）

| Stage | Pass count | % of total |
|---|---|---|
| Total attempts | 20 | 100.0% |
| Step 1: scenario_routing | 7 | 35.0% |
| Step 2: + tool_calling   | 7 | 35.0% |
| Step 3: + answer         | 6 | 30.0% |


## Per-scenario funnel

| Scenario (n_attempts) | Step 1 (routing) | Step 2 (tool) | Step 3 (answer) | end-to-end |
|---|---|---|---|---|
| LINE 線上估價 / 估價諮詢 / 線上估價｜pico調整 (1) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) |
| early_return (9) | ❌ 0/9 (0.0%) | ❌ 0/9 (0.0%) | ❌ 0/9 (0.0%) | ❌ 0/9 (0.0%) |
| 優惠活動查詢_0513 版 (1) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) |
| 取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整 (1) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) |
| 大掃除服務範圍（地區判斷）-pico調整 (1) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) |
| 官網/App使用、付款失敗問題 (1) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) |
| 居家傢俱清潔送洗（地毯 / 窗簾 / 寢具 / 沙發）|pico改 (1) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) |
| 情緒升溫處理 (抱怨/投訴/催促回覆) (2) | ✅ 2/2 (100.0%) | ✅ 2/2 (100.0%) | ✅ 2/2 (100.0%) | ✅ 2/2 (100.0%) |
| 用戶評價｜pico新增 (1) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) | ✅ 1/1 (100.0%) |
| 訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整 (1) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) |
| 通用銷售（服務諮詢入口）｜pico更新 (1) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) | ❌ 0/1 (0.0%) |


## Drop-off 最大的 5 個 scenario

1. **early_return** drop at step1 (-100.0pp)
2. **優惠活動查詢_0513 版** drop at step3 (-100.0pp)
3. **取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整** drop at step1 (-100.0pp)
4. **居家傢俱清潔送洗（地毯 / 窗簾 / 寢具 / 沙發）|pico改** drop at step1 (-100.0pp)
5. **訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整** drop at step1 (-100.0pp)

---

## Audit

Reproduce combined report: `bin/rails runner "puts Eval::EvaluationReport.call(run: EvalRun.find(131))"`
Or fetch each item separately:
- `bin/rails runner "puts Eval::KbAccuracyReport.call(run: EvalRun.find(131))"`
- `bin/rails runner "puts Eval::ScenarioFunnelReport.call(run: EvalRun.find(131))"`


---

# Per-Scenario × Per-Dim — Run #131

Suite: **HoHo 好服務 (bulk R1)** · scenarios: 12 · dims: 5 · populated cells: 55/60

| Scenario | Scenario | Tool | Retrieval | Faith | AnsQ |
| --- | --- | --- | --- | --- | --- |
| LINE 線上估價 / 估價諮詢 / 線上估價｜pico調整 | 100.0% (n=1) | 0.0% (n=1) | 0.0% (n=1) | 0.0% (n=1) | 90.0% (n=1) |
| early_return | 0.0% [0.0–0.0] (n=9) | 0.0% (n=1) | 100.0% [100.0–100.0] (n=8) | 100.0% [100.0–100.0] (n=9) | 95.9% [92.2–99.3] (n=9) |
| 優惠活動查詢_0513 版 | 100.0% (n=1) | 100.0% (n=1) | 0.0% (n=1) | 0.0% (n=1) | 26.7% (n=1) |
| 取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整 | 100.0% (n=1) | 0.0% (n=1) | 50.0% (n=1) | 83.3% (n=1) | 86.7% (n=1) |
| 大掃除服務範圍（地區判斷）-pico調整 | 100.0% (n=1) | — | 0.0% (n=1) | 100.0% (n=1) | 100.0% (n=1) |
| 官網/App使用、付款失敗問題 | 100.0% (n=1) | — | 0.0% (n=1) | 100.0% (n=1) | 96.7% (n=1) |
| 居家傢俱清潔送洗（地毯 / 窗簾 / 寢具 / 沙發）|pico改 | 0.0% (n=1) | 100.0% (n=1) | 0.0% (n=1) | 100.0% (n=1) | 93.3% (n=1) |
| 情緒升溫處理 (抱怨/投訴/催促回覆) | 100.0% [100.0–100.0] (n=2) | — | — | 100.0% [100.0–100.0] (n=2) | 98.3% [96.7–100.0] (n=2) |
| 用戶評價｜pico新增 | 100.0% (n=1) | — | 0.0% (n=1) | 0.0% (n=1) | 93.3% (n=1) |
| 知識與產品查詢 | 100.0% [100.0–100.0] (n=10) | 100.0% [100.0–100.0] (n=10) | 100.0% [100.0–100.0] (n=10) | 100.0% [100.0–100.0] (n=10) | 98.3% [96.7–100.0] (n=10) |
| 訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整 | 0.0% (n=1) | 0.0% (n=1) | 100.0% (n=1) | 66.7% (n=1) | 66.7% (n=1) |
| 通用銷售（服務諮詢入口）｜pico更新 | 100.0% (n=1) | 0.0% (n=1) | 50.0% (n=1) | 66.7% (n=1) | 33.3% (n=1) |

## Worst-3 cells (lowest primary score)

1. **訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整** × **Tool** · 0.0% (n=1) · lowest sub_metric: `tools_precision`
2. **取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整** × **Tool** · 0.0% (n=1) · lowest sub_metric: `tools_precision`
3. **大掃除服務範圍（地區判斷）-pico調整** × **Retrieval** · 0.0% (n=1) · lowest sub_metric: `knowledges_source_recall`

兩項目評估報告

EvalRun: #131（suite #73 auto-a0b5792d-r1-053958794）
Target: #1 production-baseline
Cases: 30（N=1, attempts=30/30）
Generated: 2026-05-16T13:16:39+08:00

本報告含兩個獨立評估項目。項目一 評估 bot 進入「知識與產品查詢」fallback 後的撈取 + 回答能力；項目二 評估 bot 跨全 enabled scenarios 的 routing → tool → answer 三段 funnel 健康度。

項目一: 知識庫精準度

評估範圍 (prerequisite: 進對 scenario)

進對 scenario 的 attempts: 10 / 30 (33.3%)
只對這些 attempts 算 retrieval + answer
沒進對 scenario 的 attempts → 排除（routing 失敗不該污染 KB 訊號）

Per-scenario 評估

Scenario	qualifying / total attempts	retrieval_relevance	answer_correctness
知識與產品查詢	10 / 10	❌ 45.6%	✅ 100.0%

待修方向（worst-3）

知識與產品查詢 × retrieval_relevance = 45.6% — 撈到的 KB chunks 不夠相關 — KB content gap，跟 Neptune team 提 enrichment
知識與產品查詢 × answer_correctness = 100.0% — 回答內容有問題 — 細看 hallucination_rate vs answer_quality 哪邊低

項目二: 情境調用與完成

整體 funnel（全 scenarios 加總）

Stage	Pass count	% of total
Total attempts	20	100.0%
Step 1: scenario_routing	7	35.0%
Step 2: + tool_calling	7	35.0%
Step 3: + answer	6	30.0%

Per-scenario funnel

Scenario (n_attempts)	Step 1 (routing)	Step 2 (tool)	Step 3 (answer)	end-to-end
LINE 線上估價 / 估價諮詢 / 線上估價｜pico調整 (1)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)
early_return (9)	❌ 0/9 (0.0%)	❌ 0/9 (0.0%)	❌ 0/9 (0.0%)	❌ 0/9 (0.0%)
優惠活動查詢_0513 版 (1)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)
取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整 (1)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)
大掃除服務範圍（地區判斷）-pico調整 (1)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)
官網/App使用、付款失敗問題 (1)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)
居家傢俱清潔送洗（地毯 / 窗簾 / 寢具 / 沙發）	pico改 (1)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)
情緒升溫處理 (抱怨/投訴/催促回覆) (2)	✅ 2/2 (100.0%)	✅ 2/2 (100.0%)	✅ 2/2 (100.0%)	✅ 2/2 (100.0%)
用戶評價｜pico新增 (1)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)	✅ 1/1 (100.0%)
訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整 (1)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)
通用銷售（服務諮詢入口）｜pico更新 (1)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)	❌ 0/1 (0.0%)

Drop-off 最大的 5 個 scenario

early_return drop at step1 (-100.0pp)
優惠活動查詢_0513 版 drop at step3 (-100.0pp)
取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整 drop at step1 (-100.0pp)
居家傢俱清潔送洗（地毯 / 窗簾 / 寢具 / 沙發）|pico改 drop at step1 (-100.0pp)
訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整 drop at step1 (-100.0pp)

Audit

Reproduce combined report: bin/rails runner "puts Eval::EvaluationReport.call(run: EvalRun.find(131))" Or fetch each item separately:

bin/rails runner "puts Eval::KbAccuracyReport.call(run: EvalRun.find(131))"
bin/rails runner "puts Eval::ScenarioFunnelReport.call(run: EvalRun.find(131))"

Per-Scenario × Per-Dim — Run #131

Suite: HoHo 好服務 (bulk R1) · scenarios: 12 · dims: 5 · populated cells: 55/60

Scenario	Scenario	Tool	Retrieval	Faith	AnsQ
LINE 線上估價 / 估價諮詢 / 線上估價｜pico調整	100.0% (n=1)	0.0% (n=1)	0.0% (n=1)	0.0% (n=1)	90.0% (n=1)
early_return	0.0% [0.0–0.0] (n=9)	0.0% (n=1)	100.0% [100.0–100.0] (n=8)	100.0% [100.0–100.0] (n=9)	95.9% [92.2–99.3] (n=9)
優惠活動查詢_0513 版	100.0% (n=1)	100.0% (n=1)	0.0% (n=1)	0.0% (n=1)	26.7% (n=1)
取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整	100.0% (n=1)	0.0% (n=1)	50.0% (n=1)	83.3% (n=1)	86.7% (n=1)
大掃除服務範圍（地區判斷）-pico調整	100.0% (n=1)	—	0.0% (n=1)	100.0% (n=1)	100.0% (n=1)
官網/App使用、付款失敗問題	100.0% (n=1)	—	0.0% (n=1)	100.0% (n=1)	96.7% (n=1)
居家傢俱清潔送洗（地毯 / 窗簾 / 寢具 / 沙發）	pico改	0.0% (n=1)	100.0% (n=1)	0.0% (n=1)	100.0% (n=1)
情緒升溫處理 (抱怨/投訴/催促回覆)	100.0% [100.0–100.0] (n=2)	—	—	100.0% [100.0–100.0] (n=2)	98.3% [96.7–100.0] (n=2)
用戶評價｜pico新增	100.0% (n=1)	—	0.0% (n=1)	0.0% (n=1)	93.3% (n=1)
知識與產品查詢	100.0% [100.0–100.0] (n=10)	100.0% [100.0–100.0] (n=10)	100.0% [100.0–100.0] (n=10)	100.0% [100.0–100.0] (n=10)	98.3% [96.7–100.0] (n=10)
訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整	0.0% (n=1)	0.0% (n=1)	100.0% (n=1)	66.7% (n=1)	66.7% (n=1)
通用銷售（服務諮詢入口）｜pico更新	100.0% (n=1)	0.0% (n=1)	50.0% (n=1)	66.7% (n=1)	33.3% (n=1)

Worst-3 cells (lowest primary score)

訂單相關詢問（取消 / 改期 / 退換貨 / 查詢 / 退款）pico調整 × Tool · 0.0% (n=1) · lowest sub_metric: tools_precision
取消政策(訂單取消 / 臨時取消 / 當天取消 / 隔天取消 / 規格不符導致取消 / 現場不適合取消)｜pico調整 × Tool · 0.0% (n=1) · lowest sub_metric: tools_precision
大掃除服務範圍（地區判斷）-pico調整 × Retrieval · 0.0% (n=1) · lowest sub_metric: knowledges_source_recall