執行 #24

AI 小悅 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 10:56
耗時
604.0s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1566
Total Bot Cost · USD
78.0%
Prompt Cache Hit
cost per case
$0.0052
cost per 1k tokens
$0.0010
input tokens
159,106
output tokens
3,049
cached tokens — prompt-cache hit
124,032
Total Tokens
162,155
economic efficiency
cost per correct
$0.0011
pass rate
93.3%
28 / 30
judge cost
$0.0308
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 7338fe34-8a94-478e-bc9e-dcd8029e759f 58 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:3e076ab0 Tools: sha256:cca0d8a1 Scenarios: sha256:80f41cb2 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
9955 ms
Bot 成本（Neptune）
$0.1566
Bot Tokens（Neptune）
162,155
Judge 成本（Eris）
$0.0308
Judge Tokens（Eris）
242,332
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 13.8% · 精確 10.0%
10 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
96.7%
[92.3% – 99.7%] · n=10
10 / 10 適用
  • 案例 5C267A2E

    貴妃亮顏美白點滴多少錢

    已完成
    第 1 次嘗試 · 已完成 39518ms

    載入詳情中…
  • 案例 0EF321ED

    神力拉提適合改善什麼?

    已完成
    第 1 次嘗試 · 已完成 37865ms

    載入詳情中…
  • 案例 C7C8DAF3

    你們水光儀器是什麼品牌的？

    已完成
    第 1 次嘗試 · 已完成 28462ms

    載入詳情中…
  • 案例 5B1C5684

    我之前沒有施打過玻尿酸，應該怎麼辦呢？

    已完成
    第 1 次嘗試 · 已完成 24530ms

    載入詳情中…
  • 案例 BFEBC1AE

    我可以預約免費諮詢嗎?

    已完成
    第 1 次嘗試 · 已完成 33425ms

    載入詳情中…
  • 案例 BC51FA0C

    韓國奇蹟肉毒價格怎樣

    已完成
    第 1 次嘗試 · 已完成 32466ms

    載入詳情中…
  • 案例 49C08A00

    韓國 Letybo 保提拉肉毒一瓶多少錢?

    已完成
    第 1 次嘗試 · 已完成 39533ms

    載入詳情中…
  • 案例 3AA74EC8

    腋下除毛的活動價格是多少?

    已完成
    第 1 次嘗試 · 已完成 34746ms

    載入詳情中…
  • 案例 D1CD7260

    請問有提供免費諮詢的服務嗎？

    已完成
    第 1 次嘗試 · 已完成 20212ms

    載入詳情中…
  • 案例 DC63B3B0

    鬍子（人中/下巴）除毛單堂多少錢?

    已完成
    第 1 次嘗試 · 已完成 29277ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 93.3% · 召回 100.0% · 精確 90.0%
10 / 10 適用
用對工具 召回
tool_usage
83.3%
[50.0% – 100.0%] · n=6
F1 83.3% · 召回 83.3% · 精確 83.3%
6 / 10 適用
答得到位 平均
answer_quality
77.0%
[60.0% – 91.3%] · n=10
10 / 10 適用
  • 案例 DF1456CE

    我要預約皮秒諮詢，怎麼提供資訊?

    已完成
    第 1 次嘗試 · 已完成 39492ms

    載入詳情中…
  • 案例 AD90C086

    有多堂療程的優惠嗎?

    已完成
    第 1 次嘗試 · 已完成 20581ms

    載入詳情中…
  • 案例 85A7B292

    請問海菲秀三堂的優惠價格是多少？

    已完成
    第 1 次嘗試 · 已完成 25915ms

    載入詳情中…
  • 案例 854205C6

    你們的服務時間是什麼時候?

    已完成
    第 1 次嘗試 · 已完成 33733ms

    載入詳情中…
  • 案例 C9638AF8

    我要預約諮詢，怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 21646ms

    載入詳情中…
  • 案例 4E510F57

    請問海菲秀的價格大概是多少呢？

    已完成
    第 1 次嘗試 · 已完成 29863ms

    載入詳情中…
  • 案例 0D9DFFF1

    醫生會怎麼評估我的肉毒需求？

    已完成
    第 1 次嘗試 · 已完成 38215ms

    載入詳情中…
  • 案例 E70D8449

    請問如果我要預約皮秒治療，該怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 14167ms

    載入詳情中…
  • 案例 654F7846

    請問怎麼查詢你們的產品資訊呢？

    已完成
    第 1 次嘗試 · 已完成 29354ms

    載入詳情中…
  • 案例 DC404708

    我想要預約，怎麼確認時間可以嗎？

    已完成
    第 1 次嘗試 · 已完成 16901ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 13.8% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
95.3%
[89.0% – 100.0%] · n=10
10 / 10 適用
  • 案例 607AA23E

    除毛療程有沒有冷氣一直噴出?

    已完成
    第 1 次嘗試 · 已完成 36070ms

    載入詳情中…
  • 案例 9D67E903

    請問什麼情況下會轉接到真人客服？

    已完成
    第 1 次嘗試 · 已完成 35956ms

    載入詳情中…
  • 案例 0008EE88

    我想要預約，怎麼做?

    已完成
    第 1 次嘗試 · 已完成 23836ms

    載入詳情中…
  • 案例 FD66B4D2

    除毛大部位多少錢?

    已完成
    第 1 次嘗試 · 已完成 24882ms

    載入詳情中…
  • 案例 A2998A91

    深層收緊是什麼效果?

    已完成
    第 1 次嘗試 · 已完成 33310ms

    載入詳情中…
  • 案例 486E347E

    神力拉提的腫脹或緊繃感要多久改善?

    已完成
    第 1 次嘗試 · 已完成 25272ms

    載入詳情中…
  • 案例 A9A8129D

    請問亞歷山大‧珊卓除毛可以清理哪些部位？

    已完成
    第 1 次嘗試 · 已完成 43677ms

    載入詳情中…
  • 案例 B01E2AEA

    猛健樂可以抑制食慾嗎?

    已完成
    第 1 次嘗試 · 已完成 34103ms

    載入詳情中…
  • 案例 408D0AB6

    猛健樂經衛福部核准是幹嘛的?

    已完成
    第 1 次嘗試 · 已完成 40156ms

    載入詳情中…
  • 案例 D9E25A3A

    請問韓式肉毒可以施打於肩頸放鬆嗎？

    已完成
    第 1 次嘗試 · 已完成 33492ms

    載入詳情中…