執行 #242
VERVE 小幫手 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:36
- 耗時
- 687.9s
Cost & Tokens
$0.2385
Total Bot Cost · USD
67.2%
Prompt Cache Hit
- cost per case
- $0.0080
- cost per 1k tokens
- $0.0012
- input tokens
- 191,496
- output tokens
- 6,060
- cached tokens — prompt-cache hit
- 128,640
- Total Tokens
- 197,556
- cost per correct
- $0.0013
- pass rate
- 76.7%
- 23 / 30
- judge cost
- $0.0291
設定快照（reproducibility）
Bot 設定快照
-
16534080-54ca-450f-a48a-c45a732ee551
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
5
11978 ms
$0.2385
197,556
$0.0291
225,223
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 22.5% · 精確 28.0%
10 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
94.0%
[86.7% – 100.0%] · n=10
10 / 10 適用
-
案例 E50DA85E
TuffX™ 極限訓練短褲的剪裁設計是什麼?
第 1 次嘗試 · 已完成 59923ms載入詳情中…
-
案例 D5F16A03
NyFit 的布料有速乾透氣的特性嗎?
第 1 次嘗試 · 已完成 32209ms載入詳情中…
-
案例 6DBA1576
異形珪藻土杯墊是官方正版授權產品嗎？
第 1 次嘗試 · 已完成 33381ms載入詳情中…
-
案例 8563BD17
VintageWash 產品環保不易掉色嗎?
第 1 次嘗試 · 已完成 36049ms載入詳情中…
-
案例 715A968A
KATIE x VERVE 的寬版短袖衣長有多長?
第 1 次嘗試 · 已完成 57954ms載入詳情中…
-
案例 18AD739B
新品為什麼會有氣味？
第 1 次嘗試 · 已完成 46062ms載入詳情中…
-
案例 DFA198B2
這件帽衣重多少?
第 1 次嘗試 · 已完成 57236ms載入詳情中…
-
案例 85D840E9
用 OPENPOINT App 取件要出示身份證件嗎?
第 1 次嘗試 · 已完成 30131ms載入詳情中…
-
案例 A4ECDDC3
經典刺繡老帽 - Facehugger 還有貨嗎？
第 1 次嘗試 · 已完成 33215ms載入詳情中…
-
案例 E064EBA5
請問在官網下訂單時，送貨地點要選擇什麼？
第 1 次嘗試 · 已完成 30361ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 66.7% · 召回 80.0% · 精確 60.0%
10 / 10 適用
用對工具
召回
tool_usage
75.0%
[25.0% – 100.0%] · n=4
F1 75.0% · 召回 75.0% · 精確 75.0%
4 / 10 適用
答得到位
平均
answer_quality
79.3%
[62.3% – 95.7%] · n=10
10 / 10 適用
-
案例 1160E444
我想要修改訂單，怎麼做？
第 1 次嘗試 · 已完成 26371ms載入詳情中…
-
案例 41467FE0
請問出貨時間和到貨時間是怎麼安排的？
第 1 次嘗試 · 已完成 37027ms載入詳情中…
-
案例 61749B5C
我想要退貨，該怎麼做？
第 1 次嘗試 · 已完成 46038ms載入詳情中…
-
案例 ACAAB5D8
我今天的訂單沒用到優惠，可以重新下單嗎?
第 1 次嘗試 · 已完成 37750ms載入詳情中…
-
案例 4A24AB61
當日訂單要怎麼修改啊？
第 1 次嘗試 · 已完成 24536ms載入詳情中…
-
案例 B38ED16B
為什麼超過 7 天就不能退貨了？
第 1 次嘗試 · 已完成 36516ms載入詳情中…
-
案例 97D94EF0
我忘記用優惠，能補用嗎?
第 1 次嘗試 · 已完成 31823ms載入詳情中…
-
案例 C09385A4
這款紫色的布料還有現貨嗎？
第 1 次嘗試 · 已完成 35781ms載入詳情中…
-
案例 08DAE426
請問紫色的那個產品現在有貨嗎?
第 1 次嘗試 · 已完成 33397ms載入詳情中…
-
案例 6B640216
退貨申請流程是什麼？
第 1 次嘗試 · 已完成 66886ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
87.5%
[62.5% – 100.0%] · n=8
F1 29.2% · 相關率 27.1% · 精確 30.0%
8 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
82.3%
[65.3% – 97.3%] · n=10
10 / 10 適用
-
案例 98719831
衣服染色了怎麼處理比較好?
第 1 次嘗試 · 已完成 34088ms載入詳情中…
-
案例 DE6E3736
這款挖背訓練背心的設計象徵什麼呢？
第 1 次嘗試 · 已完成 64829ms載入詳情中…
-
案例 70DFCF9B
商品搜尋功能可以查什麼?
第 1 次嘗試 · 已完成 52781ms載入詳情中…
-
案例 7DA90BA6
請問如果超過 7 天會怎麼樣?
第 1 次嘗試 · 已完成 32925ms載入詳情中…
-
案例 482F293B
TACTEL® 訓練緊身褲建議選什麼尺寸?
第 1 次嘗試 · 已完成 42537ms載入詳情中…
-
案例 66D7BCA6
XY-Stretch® 訓練短褲的檔底衩片剪裁適合深蹲訓練嗎?
第 1 次嘗試 · 已完成 43489ms載入詳情中…
-
案例 84CA13FA
船型領 BraTop 會顯瘦嗎
第 1 次嘗試 · 已完成 60997ms載入詳情中…
-
案例 1D053C6E
這款輕量剪接短袖的側脇設計有什麼特點?
第 1 次嘗試 · 已完成 51133ms載入詳情中…
-
案例 6C81E3B0
TACTEL® 方領削背BraTop 的材質是什麼?
第 1 次嘗試 · 已完成 45379ms載入詳情中…
-
案例 E20AB23F
RibSoft 羅紋修身洋裝的背部設計是什麼樣的呢？
第 1 次嘗試 · 已完成 54805ms載入詳情中…