執行 #109

Daily Belle AI 小幫手 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 11:31
耗時
333.6s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.3446
Total Bot Cost · USD
18.4%
Prompt Cache Hit
cost per case
$0.0115
cost per 1k tokens
$0.0019
input tokens
175,936
output tokens
5,162
cached tokens — prompt-cache hit
32,384
Total Tokens
181,098
economic efficiency
cost per correct
$0.0013
pass rate
76.7%
23 / 30
judge cost
$0.0294
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • b54f0c29-bf5a-4644-b075-c652daf125f0 36 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:afeb35b9 Tools: sha256:cb414772 Scenarios: sha256:fcbb2652 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
3
首字延遲 p95
3016 ms
Bot 成本（Neptune）
$0.3446
Bot Tokens（Neptune）
181,098
Judge 成本（Eris）
$0.0294
Judge Tokens（Eris）
220,502
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 32.2% · 精確 18.0%
10 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
92.7%
[81.7% – 99.7%] · n=10
10 / 10 適用
  • 案例 6E10032D

    雕塑商品白天穿效果會比較好嗎

    已完成
    第 1 次嘗試 · 已完成 14523ms

    載入詳情中…
  • 案例 A0B33198

    現代簡約涼感養脂內衣是在哪裡製造的?

    已完成
    第 1 次嘗試 · 已完成 18506ms

    載入詳情中…
  • 案例 785ECA45

    這款保健衣的背部設計是什麼樣的?

    已完成
    第 1 次嘗試 · 已完成 31310ms

    載入詳情中…
  • 案例 1E9DCD6A

    中機能內衣材質是什麼?

    已完成
    第 1 次嘗試 · 已完成 16348ms

    載入詳情中…
  • 案例 4C070EE3

    腋下內耳的設計是什麼呢？

    已完成
    第 1 次嘗試 · 已完成 27820ms

    載入詳情中…
  • 案例 B95D9F80

    穿著保健衣如廁時需要脫掉嗎

    已完成
    第 1 次嘗試 · 已完成 19423ms

    載入詳情中…
  • 案例 24E96AA8

    這款美形機能運動內衣有可調式後扣嗎

    已完成
    第 1 次嘗試 · 已完成 13392ms

    載入詳情中…
  • 案例 D3F511EA

    可以透過什麼方式查詢門市資訊?

    已完成
    第 1 次嘗試 · 已完成 13969ms

    載入詳情中…
  • 案例 B413B685

    這款內衣的後背設計怎樣?

    已完成
    第 1 次嘗試 · 已完成 22131ms

    載入詳情中…
  • 案例 EB810DDA

    舊款S5609、S5610還有再販售嗎？

    已完成
    第 1 次嘗試 · 已完成 12740ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 76.7% · 召回 100.0% · 精確 65.0%
10 / 10 適用
用對工具 召回
tool_usage
55.6%
[22.2% – 88.9%] · n=9
F1 55.6% · 召回 55.6% · 精確 100.0%
9 / 10 適用
答得到位 平均
answer_quality
81.3%
[64.0% – 96.0%] · n=10
10 / 10 適用
  • 案例 260E3180

    我可以查詢我的訂單狀態嗎?

    已完成
    第 1 次嘗試 · 已完成 13932ms

    載入詳情中…
  • 案例 22FACF3E

    請問我想要選擇內衣，想知道該怎麼量尺寸，還有顏色喜好需要告訴你嗎？

    已完成
    第 1 次嘗試 · 已完成 15380ms

    載入詳情中…
  • 案例 334D6078

    內衣尺寸怎麼量？

    已完成
    第 1 次嘗試 · 已完成 14317ms

    載入詳情中…
  • 案例 F530BA53

    內衣選購諮詢要提供什麼尺寸?

    已完成
    第 1 次嘗試 · 已完成 12456ms

    載入詳情中…
  • 案例 8C410925

    保健衣大概多少錢?

    已完成
    第 1 次嘗試 · 已完成 9041ms

    載入詳情中…
  • 案例 B57D1A64

    你們的政策是什麼？

    已完成
    第 1 次嘗試 · 已完成 18874ms

    載入詳情中…
  • 案例 30797072

    我的訂單查詢，如果有多個相關的訂單，會怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 14059ms

    載入詳情中…
  • 案例 6796DA8E

    內衣的穿法怎麼樣?

    已完成
    第 1 次嘗試 · 已完成 15501ms

    載入詳情中…
  • 案例 DC0DA332

    我的訂單現在狀態怎麼樣?

    已完成
    第 1 次嘗試 · 已完成 11375ms

    載入詳情中…
  • 案例 B22FF11B

    保健衣有什麼特點?

    已完成
    第 1 次嘗試 · 已完成 10399ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
75.0%
[37.5% – 100.0%] · n=8
F1 25.0% · 相關率 31.4% · 精確 40.0%
8 / 10 適用
不亂編造 平均
faithfulness
91.7%
[75.0% – 100.0%] · n=8
10 / 10 適用
答得到位 平均
answer_quality
72.3%
[50.0% – 93.0%] · n=10
10 / 10 適用
  • 案例 CE14E76B

    內衣的養脂效果一樣嗎？

    已完成
    第 1 次嘗試 · 已完成 19265ms

    載入詳情中…
  • 案例 A30B9C1A

    這款內衣的J型鋼圈設計有什麼好處?

    已完成
    第 1 次嘗試 · 已完成 16405ms

    載入詳情中…
  • 案例 564EEDB5

    統一搜尋支援什麼技術?

    已完成
    第 1 次嘗試 · 已完成 12593ms

    載入詳情中…
  • 案例 F1A4B3D5

    轉接真人客服的條件是什麼？

    已完成
    第 1 次嘗試 · 已完成 15038ms

    載入詳情中…
  • 案例 B4F4137D

    小朋友的胸衣尺寸可以在門市試穿嗎?

    已完成
    第 1 次嘗試 · 已完成 20082ms

    載入詳情中…
  • 案例 4A55445D

    清洗黛莉貝爾商品時要注意什麼?

    已完成
    第 1 次嘗試 · 已完成 17870ms

    載入詳情中…
  • 案例 94E35EC8

    訂單出貨需要多久?

    已完成
    第 1 次嘗試 · 已完成 10658ms

    載入詳情中…
  • 案例 71A2B871

    塑瘦杯適合什麼罩杯?

    已完成
    第 1 次嘗試 · 已完成 20738ms

    載入詳情中…
  • 案例 561EA516

    美形機能運動內衣可以避免什麼運動傷害?

    已完成
    第 1 次嘗試 · 已完成 17612ms

    載入詳情中…
  • 案例 1976E186

    屏東建國門市可以刷美國運通卡嗎

    已完成
    第 1 次嘗試 · 已完成 12567ms

    載入詳情中…