執行 #218

Simmpo AI 客服 (bulk R1) → production-canary (canary)

狀態
已完成
案例
30
開始時間
16 May 12:24
耗時
361.0s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1496
Total Bot Cost · USD
75.1%
Prompt Cache Hit
cost per case
$0.0050
cost per 1k tokens
$0.0011
input tokens
138,012
output tokens
3,640
cached tokens — prompt-cache hit
103,680
Total Tokens
141,652
economic efficiency
cost per correct
$0.0013
pass rate
73.3%
22 / 30
judge cost
$0.0286
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 1f76f4a5-242b-46b2-9764-f01ad02d77b3 197 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:377f9a60 Tools: sha256:cb414772 Scenarios: sha256:c67f241a AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
2
首字延遲 p95
7826 ms
Bot 成本(Neptune)
$0.1496
Bot Tokens(Neptune)
141,652
Judge 成本(Eris)
$0.0286
Judge Tokens(Eris)
215,746
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 44.0% · 精確 20.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
98.0%
[96.3% – 99.7%] · n=10
10 / 10 適用
  • 案例 5DF9F20F

    收到的商品跟下單內容不一樣怎麼辦

    已完成
    第 1 次嘗試 · 已完成 24516ms

    載入詳情中…

  • 案例 E1E9A64A

    退貨需要提供什麼原因啊

    已完成
    第 1 次嘗試 · 已完成 29941ms

    載入詳情中…

  • 案例 DAA344B6

    保護貼的操作教學在哪裡看?

    已完成
    第 1 次嘗試 · 已完成 19822ms

    載入詳情中…

  • 案例 74E7D18E

    Lens Ultra 2.0的莫氏硬度是多少?

    已完成
    第 1 次嘗試 · 已完成 14382ms

    載入詳情中…

  • 案例 AB3946ED

    無法使用Facebook登入,可以改以什麼登入?

    已完成
    第 1 次嘗試 · 已完成 26977ms

    載入詳情中…

  • 案例 E04B2673

    iPhone 保護貼有什麼款式?

    已完成
    第 1 次嘗試 · 已完成 28806ms

    載入詳情中…

  • 案例 AE7C6680

    17 Air S-90透明和17 Pro S-90透明預購要等多久出貨?

    已完成
    第 1 次嘗試 · 已完成 18194ms

    載入詳情中…

  • 案例 B6497825

    L-90鏡頭貼有挖孔嗎?

    已完成
    第 1 次嘗試 · 已完成 22077ms

    載入詳情中…

  • 案例 6D5907E8

    有賣手機的保護殼嗎

    已完成
    第 1 次嘗試 · 已完成 15974ms

    載入詳情中…

  • 案例 320C83C3

    如果忘記登入帳號,要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 29863ms

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
40.0%
[10.0% – 70.0%] · n=10
F1 36.7% · 召回 40.0% · 精確 35.0%
10 / 10 適用
用對工具 召回
tool_usage
42.9%
[14.3% – 71.4%] · n=7
F1 42.9% · 召回 42.9% · 精確 57.1%
7 / 10 適用
答得到位 平均
answer_quality
54.3%
[34.0% – 72.7%] · n=10
10 / 10 適用
  • 案例 09C633C1

    如何使用手機保護貼?

    已完成
    第 1 次嘗試 · 已完成 25749ms

    載入詳情中…

  • 案例 4371C1D7

    有沒有其他品牌的手機保護貼?

    已完成
    第 1 次嘗試 · 已完成 13737ms

    載入詳情中…

  • 案例 E54D9D8A

    如果使用Apple Pay 退款,通常需要多久才能收到款項?

    已完成
    第 1 次嘗試 · 已完成 27799ms

    載入詳情中…

  • 案例 F777EBBA

    如果我有多個相關訂單,系統會怎麼處理這些資訊?

    已完成
    第 1 次嘗試 · 已完成 20342ms

    載入詳情中…

  • 案例 8E41F1A3

    商品退換貨的鑑賞期是多久啊?

    已完成
    第 1 次嘗試 · 已完成 21660ms

    載入詳情中…

  • 案例 5CDE7C23

    我想查詢我的訂單,系統查不到相關訂單怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 18950ms

    載入詳情中…

  • 案例 556F0E2D

    請問查詢我的訂單需要提供哪些個人資訊呢?

    已完成
    第 1 次嘗試 · 已完成 28951ms

    載入詳情中…

  • 案例 CCF96BEC

    服務時間是什麼時候?

    已完成
    第 1 次嘗試 · 已完成 19529ms

    載入詳情中…

  • 案例 7B30A7CE

    退貨的時候如果原訂單不符免運資格,運費會怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 19625ms

    載入詳情中…

  • 案例 B1244F47

    為什麼目前沒有提供Samsung或Google的手機保護貼?

    已完成
    第 1 次嘗試 · 已完成 22453ms

    載入詳情中…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
75.0%
[37.5% – 100.0%] · n=8
F1 25.0% · 相關率 57.5% · 精確 15.0%
8 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
87.7%
[73.3% – 98.3%] · n=10
10 / 10 適用
  • 案例 3033ACB6

    iPhone 玻璃保護貼有黑邊嗎?

    已完成
    第 1 次嘗試 · 已完成 29654ms

    載入詳情中…

  • 案例 2139C026

    怎麼搜尋我的訂單詳細資訊

    已完成
    第 1 次嘗試 · 已完成 22135ms

    載入詳情中…

  • 案例 03AA58F7

    退貨時,我要提供什麼退款帳號資訊?

    已完成
    第 1 次嘗試 · 已完成 30671ms

    載入詳情中…

  • 案例 9A5C7531

    類紙膜的抗摔保護能力怎麼樣?

    已完成
    第 1 次嘗試 · 已完成 25074ms

    載入詳情中…

  • 案例 B3FB2DD5

    晶透螢幕清潔噴霧保存期限是多久

    已完成
    第 1 次嘗試 · 已完成 16976ms

    載入詳情中…

  • 案例 4136D86D

    S-90耐衝擊保護貼在哪裡買得到?

    已完成
    第 1 次嘗試 · 已完成 21870ms

    載入詳情中…

  • 案例 4F7FAB28

    訂單取消後,購物金大約多久恢復?

    已完成
    第 1 次嘗試 · 已完成 14381ms

    載入詳情中…

  • 案例 3B6291DA

    運送政策說明頁面是哪裡可以看?

    已完成
    第 1 次嘗試 · 已完成 22098ms

    載入詳情中…

  • 案例 A0F62142

    如果我訂單中有預購商品,出貨要等多久?

    已完成
    第 1 次嘗試 · 已完成 15150ms

    載入詳情中…

  • 案例 0FC53AD3

    目前有沒有無黑邊的保護貼?

    已完成
    第 1 次嘗試 · 已完成 20511ms

    載入詳情中…