執行 #241
VERVE 小幫手 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:35
- 耗時
- 765.8s
Cost & Tokens
$0.2775
Total Bot Cost · USD
54.6%
Prompt Cache Hit
- cost per case
- $0.0092
- cost per 1k tokens
- $0.0014
- input tokens
- 192,718
- output tokens
- 6,230
- cached tokens — prompt-cache hit
- 105,216
- Total Tokens
- 198,948
- cost per correct
- $0.0012
- pass rate
- 86.7%
- 26 / 30
- judge cost
- $0.0307
設定快照（reproducibility）
Bot 設定快照
-
16534080-54ca-450f-a48a-c45a732ee551
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
5
4116 ms
$0.2775
198,948
$0.0306
229,732
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 30.0% · 精確 28.0%
10 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
97.3%
[94.3% – 100.0%] · n=10
10 / 10 適用
-
案例 E50DA85E
TuffX™ 極限訓練短褲的剪裁設計是什麼?
第 1 次嘗試 · 已完成 20690ms載入詳情中…
-
案例 D5F16A03
NyFit 的布料有速乾透氣的特性嗎?
第 1 次嘗試 · 已完成 20163ms載入詳情中…
-
案例 6DBA1576
異形珪藻土杯墊是官方正版授權產品嗎？
第 1 次嘗試 · 已完成 16287ms載入詳情中…
-
案例 8563BD17
VintageWash 產品環保不易掉色嗎?
第 1 次嘗試 · 已完成 18387ms載入詳情中…
-
案例 715A968A
KATIE x VERVE 的寬版短袖衣長有多長?
第 1 次嘗試 · 已完成 20457ms載入詳情中…
-
案例 18AD739B
新品為什麼會有氣味？
第 1 次嘗試 · 已完成 15531ms載入詳情中…
-
案例 DFA198B2
這件帽衣重多少?
第 1 次嘗試 · 已完成 22371ms載入詳情中…
-
案例 85D840E9
用 OPENPOINT App 取件要出示身份證件嗎?
第 1 次嘗試 · 已完成 10178ms載入詳情中…
-
案例 A4ECDDC3
經典刺繡老帽 - Facehugger 還有貨嗎？
第 1 次嘗試 · 已完成 14426ms載入詳情中…
-
案例 E064EBA5
請問在官網下訂單時，送貨地點要選擇什麼？
第 1 次嘗試 · 已完成 18916ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 60.0% · 召回 80.0% · 精確 50.0%
10 / 10 適用
用對工具
召回
tool_usage
75.0%
[25.0% – 100.0%] · n=4
F1 75.0% · 召回 75.0% · 精確 75.0%
4 / 10 適用
答得到位
平均
answer_quality
77.3%
[58.0% – 93.0%] · n=10
10 / 10 適用
-
案例 1160E444
我想要修改訂單，怎麼做？
第 1 次嘗試 · 已完成 13590ms載入詳情中…
-
案例 41467FE0
請問出貨時間和到貨時間是怎麼安排的？
第 1 次嘗試 · 已完成 7831ms載入詳情中…
-
案例 61749B5C
我想要退貨，該怎麼做？
第 1 次嘗試 · 已完成 13813ms載入詳情中…
-
案例 ACAAB5D8
我今天的訂單沒用到優惠，可以重新下單嗎?
第 1 次嘗試 · 已完成 8551ms載入詳情中…
-
案例 4A24AB61
當日訂單要怎麼修改啊？
第 1 次嘗試 · 已完成 7999ms載入詳情中…
-
案例 B38ED16B
為什麼超過 7 天就不能退貨了？
第 1 次嘗試 · 已完成 20422ms載入詳情中…
-
案例 97D94EF0
我忘記用優惠，能補用嗎?
第 1 次嘗試 · 已完成 11941ms載入詳情中…
-
案例 C09385A4
這款紫色的布料還有現貨嗎？
第 1 次嘗試 · 已完成 18195ms載入詳情中…
-
案例 08DAE426
請問紫色的那個產品現在有貨嗎?
第 1 次嘗試 · 已完成 16158ms載入詳情中…
-
案例 6B640216
退貨申請流程是什麼？
第 1 次嘗試 · 已完成 21034ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
87.5%
[62.5% – 100.0%] · n=8
F1 29.2% · 相關率 27.1% · 精確 30.0%
8 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
89.3%
[77.0% – 97.7%] · n=10
10 / 10 適用
-
案例 98719831
衣服染色了怎麼處理比較好?
第 1 次嘗試 · 已完成 14772ms載入詳情中…
-
案例 DE6E3736
這款挖背訓練背心的設計象徵什麼呢？
第 1 次嘗試 · 已完成 21755ms載入詳情中…
-
案例 70DFCF9B
商品搜尋功能可以查什麼?
第 1 次嘗試 · 已完成 15282ms載入詳情中…
-
案例 7DA90BA6
請問如果超過 7 天會怎麼樣?
第 1 次嘗試 · 已完成 12441ms載入詳情中…
-
案例 482F293B
TACTEL® 訓練緊身褲建議選什麼尺寸?
第 1 次嘗試 · 已完成 8096ms載入詳情中…
-
案例 66D7BCA6
XY-Stretch® 訓練短褲的檔底衩片剪裁適合深蹲訓練嗎?
第 1 次嘗試 · 已完成 23693ms載入詳情中…
-
案例 84CA13FA
船型領 BraTop 會顯瘦嗎
第 1 次嘗試 · 已完成 28093ms載入詳情中…
-
案例 1D053C6E
這款輕量剪接短袖的側脇設計有什麼特點?
第 1 次嘗試 · 已完成 26745ms載入詳情中…
-
案例 6C81E3B0
TACTEL® 方領削背BraTop 的材質是什麼?
第 1 次嘗試 · 已完成 17667ms載入詳情中…
-
案例 E20AB23F
RibSoft 羅紋修身洋裝的背部設計是什麼樣的呢？
第 1 次嘗試 · 已完成 17847ms載入詳情中…