執行 #103

CheeseCake1 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 11:28
耗時
485.4s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2100
Total Bot Cost · USD
67.2%
Prompt Cache Hit
cost per case
$0.0070
cost per 1k tokens
$0.0012
input tokens
175,695
output tokens
4,452
cached tokens — prompt-cache hit
118,016
Total Tokens
180,147
economic efficiency
cost per correct
$0.0013
pass rate
83.3%
25 / 30
judge cost
$0.0336
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • bc7cf215-c2a9-4eb6-88ba-0f074014b7a9 39 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:98c1cba9 Tools: sha256:cb414772 Scenarios: sha256:0d3c54e8 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
5
首字延遲 p95
5257 ms
Bot 成本（Neptune）
$0.2100
Bot Tokens（Neptune）
180,147
Judge 成本（Eris）
$0.0336
Judge Tokens（Eris）
249,258
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 16.4% · 相關率 12.2% · 精確 9.0%
10 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
90.0%
[70.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
93.7%
[82.3% – 100.0%] · n=10
10 / 10 適用
  • 案例 D1DAB31E

    要怎麼加入會員?

    已完成
    第 1 次嘗試 · 已完成 11242ms

    載入詳情中…
  • 案例 B4A6CDA9

    桃園起司蛋糕壹廠可以現場購買嗎?

    已完成
    第 1 次嘗試 · 已完成 16692ms

    載入詳情中…
  • 案例 10C4F7FA

    台中門市電話是什麼

    已完成
    第 1 次嘗試 · 已完成 11415ms

    載入詳情中…
  • 案例 55968426

    可以客製化嗎?

    已完成
    第 1 次嘗試 · 已完成 12150ms

    載入詳情中…
  • 案例 713BCB4B

    蛋糕退冰後要回冰多久比較好？

    已完成
    第 1 次嘗試 · 已完成 11973ms

    載入詳情中…
  • 案例 CB66E91E

    慶生組合裡面包含什麼呢？

    已完成
    第 1 次嘗試 · 已完成 12544ms

    載入詳情中…
  • 案例 88475C45

    CheeseCake1 的蛋糕可以給乳糖不耐症的人吃嗎

    已完成
    第 1 次嘗試 · 已完成 11349ms

    載入詳情中…
  • 案例 6FB31253

    玫瑰花會不會因為天氣影響而附上?

    已完成
    第 1 次嘗試 · 已完成 18483ms

    載入詳情中…
  • 案例 8A7926F5

    未加入會員怎麼查詢訂單明細?

    已完成
    第 1 次嘗試 · 已完成 17538ms

    載入詳情中…
  • 案例 60B6000C

    可以透過 LINE 訂蛋糕嗎?

    已完成
    第 1 次嘗試 · 已完成 12384ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 66.7% · 召回 80.0% · 精確 60.0%
10 / 10 適用
用對工具 召回
tool_usage
60.0%
[30.0% – 90.0%] · n=10
F1 60.0% · 召回 60.0% · 精確 60.0%
10 / 10 適用
答得到位 平均
answer_quality
69.7%
[44.3% – 89.7%] · n=10
10 / 10 適用
  • 案例 CFA3952B

    如何查詢訂單出貨狀態?

    已完成
    第 1 次嘗試 · 已完成 16596ms

    載入詳情中…
  • 案例 14288978

    訂單查詢沒有相關紀錄怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 12125ms

    載入詳情中…
  • 案例 BF4AC073

    查詢我的訂單需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 11897ms

    載入詳情中…
  • 案例 4E6AFE26

    如果有多個相關訂單，這些訂單會怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 12382ms

    載入詳情中…
  • 案例 E4A9731F

    怎麼使用髮片?

    已完成
    第 1 次嘗試 · 已完成 13094ms

    載入詳情中…
  • 案例 686F7D65

    發票什麼時候會寄到?

    已完成
    第 1 次嘗試 · 已完成 17676ms

    載入詳情中…
  • 案例 81630A67

    出貨狀態怎麼查?

    已完成
    第 1 次嘗試 · 已完成 15235ms

    載入詳情中…
  • 案例 6B3F9171

    你們的粉絲團和官網有什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 22939ms

    載入詳情中…
  • 案例 1D01CF98

    我想查詢我的訂單，如果找不到相關訂單怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 16223ms

    載入詳情中…
  • 案例 5EA0EAF7

    如何使用你們的假髮?

    已完成
    第 1 次嘗試 · 已完成 13576ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 13.3% · 精確 10.0%
9 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
90.3%
[74.7% – 99.0%] · n=10
10 / 10 適用
  • 案例 C73D6842

    可以用信用卡付款嗎

    已完成
    第 1 次嘗試 · 已完成 9802ms

    載入詳情中…
  • 案例 23973A6C

    這款髮片適合用在什麼場合?

    已完成
    第 1 次嘗試 · 已完成 10095ms

    載入詳情中…
  • 案例 962D5193

    請問桃園起司蛋糕壹廠可以直接購買嗎？

    已完成
    第 1 次嘗試 · 已完成 12493ms

    載入詳情中…
  • 案例 1F2C4E82

    所有產品都可以素食食用嗎?

    已完成
    第 1 次嘗試 · 已完成 14153ms

    載入詳情中…
  • 案例 D09021D7

    大方形蛋糕的尺寸是多大?

    已完成
    第 1 次嘗試 · 已完成 19371ms

    載入詳情中…
  • 案例 D6F8AB2C

    怎麼查詢我的訂單明細?

    已完成
    第 1 次嘗試 · 已完成 13541ms

    載入詳情中…
  • 案例 A160FE56

    購買其他款蛋糕會附贈什麼配件?

    已完成
    第 1 次嘗試 · 已完成 18990ms

    載入詳情中…
  • 案例 48AED420

    請問可以直接透過官網下單嗎?

    已完成
    第 1 次嘗試 · 已完成 12008ms

    載入詳情中…
  • 案例 DBED4150

    桃園取貨時間是什麼時候？

    已完成
    第 1 次嘗試 · 已完成 15188ms

    載入詳情中…
  • 案例 20C3DAF5

    外島可以配送嗎？

    已完成
    第 1 次嘗試 · 已完成 10581ms

    載入詳情中…