執行 #222

Slothful 小幫手 (bulk R1) → production-canary (canary)

狀態
已完成
案例
30
開始時間
16 May 12:27
耗時
481.9s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1734
Total Bot Cost · USD
79.2%
Prompt Cache Hit
cost per case
$0.0058
cost per 1k tokens
$0.0010
input tokens
171,850
output tokens
4,225
cached tokens — prompt-cache hit
136,064
Total Tokens
176,075
economic efficiency
cost per correct
$0.0014
pass rate
66.7%
20 / 30
judge cost
$0.0272
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • e0678d79-bbde-4844-b0b0-35599e83ee65 21 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:70b3fba9 Tools: sha256:bbb64a3b Scenarios: sha256:81fb70af AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
6
首字延遲 p95
7548 ms
Bot 成本(Neptune)
$0.1734
Bot Tokens(Neptune)
176,075
Judge 成本(Eris)
$0.0272
Judge Tokens(Eris)
208,053
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 32.0% · 精確 20.0%
10 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
95.0%
[85.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
91.3%
[80.0% – 98.7%] · n=10
10 / 10 適用
  • 案例 CC9EF028

    XL尺寸的褲口寬多少?

    已完成
    第 1 次嘗試 · 已完成 37059ms

    載入詳情中…

  • 案例 0EA18700

    輕量隨身小包的設計有多輕巧呢?

    已完成
    第 1 次嘗試 · 已完成 36064ms

    載入詳情中…

  • 案例 CA42B636

    半包拖鞋推薦的尺寸是什麼?

    已完成
    第 1 次嘗試 · 已完成 61515ms

    載入詳情中…

  • 案例 6B871435

    這個衣服會縮水嗎

    已完成
    第 1 次嘗試 · 已完成 24567ms

    載入詳情中…

  • 案例 704E9CCE

    條紋毛巾底中筒襪的重量多少?

    已完成
    第 1 次嘗試 · 已完成 51354ms

    載入詳情中…

  • 案例 1A2F0F16

    L尺寸的褲口寬是多少?

    已完成
    第 1 次嘗試 · 已完成 49814ms

    載入詳情中…

  • 案例 1579F56C

    請問直條紋彎刀褲有哪些口袋設計呢?

    已完成
    第 1 次嘗試 · 已完成 45102ms

    載入詳情中…

  • 案例 54DC9454

    這款褲子適合什麼季節穿搭?

    已完成
    第 1 次嘗試 · 已完成 41903ms

    載入詳情中…

  • 案例 C9460391

    異色拼接立領羽絨外套的面布和裡布材質是什麼?

    已完成
    第 1 次嘗試 · 已完成 48928ms

    載入詳情中…

  • 案例 8A457FCF

    這款褲子是什麼版型?

    已完成
    第 1 次嘗試 · 已完成 46162ms

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 76.7% · 召回 80.0% · 精確 75.0%
10 / 10 適用
用對工具 召回
tool_usage
87.5%
[62.5% – 100.0%] · n=8
F1 87.5% · 召回 87.5% · 精確 87.5%
8 / 10 適用
答得到位 平均
answer_quality
32.3%
[14.7% – 50.7%] · n=10
10 / 10 適用
  • 案例 B9B9598D

    請問有沒有適合過年穿的衣服推薦?

    已完成
    第 1 次嘗試 · 已完成 47782ms

    載入詳情中…

  • 案例 A112F67F

    這個髮片怎麼使用啊?

    已完成
    第 1 次嘗試 · 已完成 37395ms

    載入詳情中…

  • 案例 48EFBF64

    髮片有現貨嗎?

    已完成
    第 1 次嘗試 · 已完成 37926ms

    載入詳情中…

  • 案例 0A9D0587

    退貨包裹長度超過 45 公分可以用什麼方式寄回?

    已完成
    第 1 次嘗試 · 已完成 50169ms

    載入詳情中…

  • 案例 3FBDF829

    請問我想查詢訂單,訂單編號是 12345678901234567,這筆訂單目前狀態如何?

    已完成
    第 1 次嘗試 · 已完成 20840ms

    載入詳情中…

  • 案例 34D38315

    有沒有適合過年的 T 恤推薦?

    已完成
    第 1 次嘗試 · 已完成 40943ms

    載入詳情中…

  • 案例 90632FEF

    最近有什麼活動或優惠嗎?

    已完成
    第 1 次嘗試 · 已完成 63399ms

    載入詳情中…

  • 案例 75AA91B4

    請問微增髮片的價格大約是多少呢?

    已完成
    第 1 次嘗試 · 已完成 45183ms

    載入詳情中…

  • 案例 E4946CFE

    請問退換貨申請需要提供什麼資訊?特別是訂單編號的格式是什麼?

    已完成
    第 1 次嘗試 · 已完成 39275ms

    載入詳情中…

  • 案例 5DACDD1A

    我的訂單編號是 12345678901234567,可以查詢一下嗎?

    已完成
    第 1 次嘗試 · 已完成 19101ms

    載入詳情中…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 33.3% · 相關率 26.7% · 精確 20.0%
9 / 10 適用 · 4 提示
不亂編造 平均
faithfulness
77.8%
[44.4% – 100.0%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
93.0%
[81.7% – 100.0%] · n=10
10 / 10 適用
  • 案例 3F3387A1

    這款商品會有色差嗎

    已完成
    第 1 次嘗試 · 已完成 31641ms

    載入詳情中…

  • 案例 66F5E409

    半包拖鞋的歐規尺寸範圍是多少?

    已完成
    第 1 次嘗試 · 已完成 29891ms

    載入詳情中…

  • 案例 83D4E60B

    OUTDOOR機能短褲的腰頭設計是什麼?

    已完成
    第 1 次嘗試 · 已完成 71990ms

    載入詳情中…

  • 案例 7AFA714B

    如果我有更複雜的問題,可以轉接到人類客服嗎?

    已完成
    第 1 次嘗試 · 已完成 15456ms

    載入詳情中…

  • 案例 57FD7365

    特殊剪裁彎刀褲有口袋嗎

    已完成
    第 1 次嘗試 · 已完成 47460ms

    載入詳情中…

  • 案例 8DF651EA

    弧線剪裁牛仔寬褲是寬鬆版型嗎

    已完成
    第 1 次嘗試 · 已完成 47141ms

    載入詳情中…

  • 案例 C29DBB91

    NOIR 美式高校拼色V領背心有什麼特點?

    已完成
    第 1 次嘗試 · 已完成 41931ms

    載入詳情中…

  • 案例 60EBBD09

    山系五分帽 - 小LOGO 的抽繩可以調整嗎?

    已完成
    第 1 次嘗試 · 已完成 47787ms

    載入詳情中…

  • 案例 B51AD324

    請問寬版大口袋七分褲的材質是什麼?

    已完成
    第 1 次嘗試 · 已完成 49671ms

    載入詳情中…

  • 案例 0B04C1B7

    懶妹日常長袖T的設計是什麼樣的?

    已完成
    第 1 次嘗試 · 已完成 63433ms

    載入詳情中…