執行 #23

AI 小悅 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 10:56
耗時
341.3s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2144
Total Bot Cost · USD
53.5%
Prompt Cache Hit
cost per case
$0.0071
cost per 1k tokens
$0.0013
input tokens
158,289
output tokens
3,093
cached tokens — prompt-cache hit
84,608
Total Tokens
161,382
economic efficiency
cost per correct
$0.0011
pass rate
93.3%
28 / 30
judge cost
$0.0321
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 7338fe34-8a94-478e-bc9e-dcd8029e759f 58 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:3e076ab0 Tools: sha256:cca0d8a1 Scenarios: sha256:80f41cb2 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
2866 ms
Bot 成本（Neptune）
$0.2144
Bot Tokens（Neptune）
161,382
Judge 成本（Eris）
$0.0321
Judge Tokens（Eris）
241,724
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 13.8% · 精確 10.0%
10 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
99.0%
[97.3% – 100.0%] · n=10
10 / 10 適用
  • 案例 5C267A2E

    貴妃亮顏美白點滴多少錢

    已完成
    第 1 次嘗試 · 已完成 9404ms

    載入詳情中…
  • 案例 0EF321ED

    神力拉提適合改善什麼?

    已完成
    第 1 次嘗試 · 已完成 10746ms

    載入詳情中…
  • 案例 C7C8DAF3

    你們水光儀器是什麼品牌的？

    已完成
    第 1 次嘗試 · 已完成 14388ms

    載入詳情中…
  • 案例 5B1C5684

    我之前沒有施打過玻尿酸，應該怎麼辦呢？

    已完成
    第 1 次嘗試 · 已完成 13691ms

    載入詳情中…
  • 案例 BFEBC1AE

    我可以預約免費諮詢嗎?

    已完成
    第 1 次嘗試 · 已完成 10285ms

    載入詳情中…
  • 案例 BC51FA0C

    韓國奇蹟肉毒價格怎樣

    已完成
    第 1 次嘗試 · 已完成 11812ms

    載入詳情中…
  • 案例 49C08A00

    韓國 Letybo 保提拉肉毒一瓶多少錢?

    已完成
    第 1 次嘗試 · 已完成 9928ms

    載入詳情中…
  • 案例 3AA74EC8

    腋下除毛的活動價格是多少?

    已完成
    第 1 次嘗試 · 已完成 8454ms

    載入詳情中…
  • 案例 D1CD7260

    請問有提供免費諮詢的服務嗎？

    已完成
    第 1 次嘗試 · 已完成 11948ms

    載入詳情中…
  • 案例 DC63B3B0

    鬍子（人中/下巴）除毛單堂多少錢?

    已完成
    第 1 次嘗試 · 已完成 13503ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 86.7% · 召回 90.0% · 精確 85.0%
10 / 10 適用
用對工具 召回
tool_usage
83.3%
[50.0% – 100.0%] · n=6
F1 83.3% · 召回 83.3% · 精確 83.3%
6 / 10 適用
答得到位 平均
answer_quality
77.3%
[59.7% – 90.7%] · n=10
10 / 10 適用
  • 案例 DF1456CE

    我要預約皮秒諮詢，怎麼提供資訊?

    已完成
    第 1 次嘗試 · 已完成 7763ms

    載入詳情中…
  • 案例 AD90C086

    有多堂療程的優惠嗎?

    已完成
    第 1 次嘗試 · 已完成 10173ms

    載入詳情中…
  • 案例 85A7B292

    請問海菲秀三堂的優惠價格是多少？

    已完成
    第 1 次嘗試 · 已完成 11774ms

    載入詳情中…
  • 案例 854205C6

    你們的服務時間是什麼時候?

    已完成
    第 1 次嘗試 · 已完成 8835ms

    載入詳情中…
  • 案例 C9638AF8

    我要預約諮詢，怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 7513ms

    載入詳情中…
  • 案例 4E510F57

    請問海菲秀的價格大概是多少呢？

    已完成
    第 1 次嘗試 · 已完成 12064ms

    載入詳情中…
  • 案例 0D9DFFF1

    醫生會怎麼評估我的肉毒需求？

    已完成
    第 1 次嘗試 · 已完成 13273ms

    載入詳情中…
  • 案例 E70D8449

    請問如果我要預約皮秒治療，該怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 12625ms

    載入詳情中…
  • 案例 654F7846

    請問怎麼查詢你們的產品資訊呢？

    已完成
    第 1 次嘗試 · 已完成 11075ms

    載入詳情中…
  • 案例 DC404708

    我想要預約，怎麼確認時間可以嗎？

    已完成
    第 1 次嘗試 · 已完成 9504ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 16.3% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
95.3%
[88.7% – 99.7%] · n=10
10 / 10 適用
  • 案例 607AA23E

    除毛療程有沒有冷氣一直噴出?

    已完成
    第 1 次嘗試 · 已完成 21733ms

    載入詳情中…
  • 案例 9D67E903

    請問什麼情況下會轉接到真人客服？

    已完成
    第 1 次嘗試 · 已完成 10895ms

    載入詳情中…
  • 案例 0008EE88

    我想要預約，怎麼做?

    已完成
    第 1 次嘗試 · 已完成 10300ms

    載入詳情中…
  • 案例 FD66B4D2

    除毛大部位多少錢?

    已完成
    第 1 次嘗試 · 已完成 10904ms

    載入詳情中…
  • 案例 A2998A91

    深層收緊是什麼效果?

    已完成
    第 1 次嘗試 · 已完成 14929ms

    載入詳情中…
  • 案例 486E347E

    神力拉提的腫脹或緊繃感要多久改善?

    已完成
    第 1 次嘗試 · 已完成 10910ms

    載入詳情中…
  • 案例 A9A8129D

    請問亞歷山大‧珊卓除毛可以清理哪些部位？

    已完成
    第 1 次嘗試 · 已完成 11682ms

    載入詳情中…
  • 案例 B01E2AEA

    猛健樂可以抑制食慾嗎?

    已完成
    第 1 次嘗試 · 已完成 16008ms

    載入詳情中…
  • 案例 408D0AB6

    猛健樂經衛福部核准是幹嘛的?

    已完成
    第 1 次嘗試 · 已完成 11153ms

    載入詳情中…
  • 案例 D9E25A3A

    請問韓式肉毒可以施打於肩頸放鬆嗎？

    已完成
    第 1 次嘗試 · 已完成 10118ms

    載入詳情中…