執行 #104

CheeseCake1 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面
狀態
執行中
案例
19
開始時間
16 May 11:28
耗時
—
¶ Economics · Bot-side N=16 attempts

Cost & Tokens

$0.0870
Total Bot Cost · USD
83.5%
Prompt Cache Hit
cost per case
$0.0054
cost per 1k tokens
$0.0009
input tokens
93,385
output tokens
2,141
cached tokens — prompt-cache hit
77,952
Total Tokens
95,526
economic efficiency
cost per correct
$0.0013
pass rate
81.3%
13 / 16
judge cost
$0.0166
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • bc7cf215-c2a9-4eb6-88ba-0f074014b7a9 39 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:98c1cba9 Tools: sha256:cb414772 Scenarios: sha256:0d3c54e8 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
16 / 19
錯誤
0
失敗維度
3
首字延遲 p95
6607 ms
Bot 成本（Neptune）
$0.0870
Bot Tokens（Neptune）
95,526
Judge 成本（Eris）
$0.0166
Judge Tokens（Eris）
126,983
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
87.5%
[62.5% – 100.0%] · n=8
F1 15.9% · 相關率 8.6% · 精確 8.8%
9 / 9 適用 · 1 提示
不亂編造 平均
faithfulness
93.8%
[81.3% – 100.0%] · n=8
9 / 9 適用
答得到位 平均
answer_quality
95.0%
[85.8% – 100.0%] · n=8
9 / 9 適用
  • 案例 D1DAB31E

    要怎麼加入會員?

    已完成
    第 1 次嘗試 · 已完成 28120ms

    載入詳情中…
  • 案例 B4A6CDA9

    桃園起司蛋糕壹廠可以現場購買嗎?

    pending

    等候 orchestrator 處理此案例…

  • 案例 10C4F7FA

    台中門市電話是什麼

    已完成
    第 1 次嘗試 · 已完成 28822ms

    載入詳情中…
  • 案例 55968426

    可以客製化嗎?

    已完成
    第 1 次嘗試 · 已完成 27560ms

    載入詳情中…
  • 案例 713BCB4B

    蛋糕退冰後要回冰多久比較好？

    已完成
    第 1 次嘗試 · 已完成 32135ms

    載入詳情中…
  • 案例 CB66E91E

    慶生組合裡面包含什麼呢？

    已完成
    第 1 次嘗試 · 已完成 24217ms

    載入詳情中…
  • 案例 88475C45

    CheeseCake1 的蛋糕可以給乳糖不耐症的人吃嗎

    已完成
    第 1 次嘗試 · 已完成 22105ms

    載入詳情中…
  • 案例 6FB31253

    玫瑰花會不會因為天氣影響而附上?

    已完成
    第 1 次嘗試 · 已完成 29924ms

    載入詳情中…
  • 案例 8A7926F5

    未加入會員怎麼查詢訂單明細?

    已完成
    第 1 次嘗試 · 已完成 37990ms

    載入詳情中…
  • 案例 60B6000C

    可以透過 LINE 訂蛋糕嗎?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
50.0%
[0.0% – 100.0%] · n=4
F1 41.7% · 召回 50.0% · 精確 37.5%
4 / 4 適用
用對工具 召回
tool_usage
25.0%
[0.0% – 75.0%] · n=4
F1 25.0% · 召回 25.0% · 精確 25.0%
4 / 4 適用
答得到位 平均
answer_quality
61.7%
[20.8% – 86.7%] · n=4
4 / 4 適用
  • 案例 CFA3952B

    如何查詢訂單出貨狀態?

    pending

    等候 orchestrator 處理此案例…

  • 案例 14288978

    訂單查詢沒有相關紀錄怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 25540ms

    載入詳情中…
  • 案例 BF4AC073

    查詢我的訂單需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 28505ms

    載入詳情中…
  • 案例 4E6AFE26

    如果有多個相關訂單，這些訂單會怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 24972ms

    載入詳情中…
  • 案例 E4A9731F

    怎麼使用髮片?

    已完成
    第 1 次嘗試 · 已完成 24126ms

    載入詳情中…
  • 案例 686F7D65

    發票什麼時候會寄到?

    pending

    等候 orchestrator 處理此案例…

  • 案例 81630A67

    出貨狀態怎麼查?

    pending

    等候 orchestrator 處理此案例…

  • 案例 6B3F9171

    你們的粉絲團和官網有什麼資訊?

    pending

    等候 orchestrator 處理此案例…

  • 案例 1D01CF98

    我想查詢我的訂單，如果找不到相關訂單怎麼辦？

    pending

    等候 orchestrator 處理此案例…

  • 案例 5EA0EAF7

    如何使用你們的假髮?

    pending

    等候 orchestrator 處理此案例…

項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=3
F1 18.2% · 相關率 10.0% · 精確 10.0%
5 / 6 適用
不亂編造 平均
faithfulness
75.0%
[25.0% – 100.0%] · n=4
6 / 6 適用
答得到位 平均
answer_quality
80.0%
[43.3% – 100.0%] · n=4
6 / 6 適用
  • 案例 C73D6842

    可以用信用卡付款嗎

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…
  • 案例 23973A6C

    這款髮片適合用在什麼場合?

    已完成
    第 1 次嘗試 · 已完成 25406ms

    載入詳情中…
  • 案例 962D5193

    請問桃園起司蛋糕壹廠可以直接購買嗎？

    已完成
    第 1 次嘗試 · 已完成 28187ms

    載入詳情中…
  • 案例 1F2C4E82

    所有產品都可以素食食用嗎?

    已完成
    第 1 次嘗試 · 已完成 22755ms

    載入詳情中…
  • 案例 D09021D7

    大方形蛋糕的尺寸是多大?

    已完成
    第 1 次嘗試 · 已完成 27191ms

    載入詳情中…
  • 案例 D6F8AB2C

    怎麼查詢我的訂單明細?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…
  • 案例 A160FE56

    購買其他款蛋糕會附贈什麼配件?

    pending

    等候 orchestrator 處理此案例…

  • 案例 48AED420

    請問可以直接透過官網下單嗎?

    pending

    等候 orchestrator 處理此案例…

  • 案例 DBED4150

    桃園取貨時間是什麼時候？

    pending

    等候 orchestrator 處理此案例…

  • 案例 20C3DAF5

    外島可以配送嗎？

    pending

    等候 orchestrator 處理此案例…