執行 #226
Stacy (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:30
- 耗時
- 857.6s
Cost & Tokens
$0.2955
Total Bot Cost · USD
74.2%
Prompt Cache Hit
- cost per case
- $0.0098
- cost per 1k tokens
- $0.0010
- input tokens
- 289,352
- output tokens
- 4,845
- cached tokens — prompt-cache hit
- 214,656
- Total Tokens
- 294,197
- cost per correct
- $0.0012
- pass rate
- 80.0%
- 24 / 30
- judge cost
- $0.0283
設定快照（reproducibility）
Bot 設定快照
-
ef2c7746-b611-465d-9fe6-7c18c20cd865
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
4
12406 ms
$0.2955
294,197
$0.0283
217,681
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 34.4% · 精確 18.0%
10 / 10 適用
·
3 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
94.3%
[86.7% – 100.0%] · n=10
10 / 10 適用
-
案例 518135E0
會員資格什麼時候結算？
第 1 次嘗試 · 已完成 67818ms載入詳情中…
-
案例 02E439B7
項鍊默認搭配幾個字母扣?
第 1 次嘗試 · 已完成 42427ms載入詳情中…
-
案例 2D8CED53
海外訂單可以用 PayPal 嗎?
第 1 次嘗試 · 已完成 55571ms載入詳情中…
-
案例 9696AE1A
這款保護殼的重量是多少?
第 1 次嘗試 · 已完成 29184ms載入詳情中…
-
案例 F2A1A4D3
支援哪些行動支付方式？
第 1 次嘗試 · 已完成 36837ms載入詳情中…
-
案例 0C3BCEC0
點點羽絨磁吸皮革卡夾的材質是什麼?
第 1 次嘗試 · 已完成 41302ms載入詳情中…
-
案例 5B745879
皮革商品應該多久使用皮革油保養一次?
第 1 次嘗試 · 已完成 45917ms載入詳情中…
-
案例 5B0968D3
燕麥色 MacBook 全包防刮保護殼可以客製化嗎
第 1 次嘗試 · 已完成 66016ms載入詳情中…
-
案例 78A2373D
退貨完成後大概多久可以退款？
第 1 次嘗試 · 已完成 56296ms載入詳情中…
-
案例 818BFD00
選購經典荔枝皮錶帶要根據什麼尺寸?
第 1 次嘗試 · 已完成 40108ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
70.0%
[40.0% – 100.0%] · n=10
F1 56.7% · 召回 70.0% · 精確 50.0%
10 / 10 適用
用對工具
召回
tool_usage
20.0%
[0.0% – 50.0%] · n=10
F1 20.0% · 召回 20.0% · 精確 30.0%
10 / 10 適用
答得到位
平均
answer_quality
61.7%
[42.3% – 78.7%] · n=10
10 / 10 適用
-
案例 96113E6A
瑕疵退換貨需要提供什麼資料?
第 1 次嘗試 · 已完成 46256ms載入詳情中…
-
案例 9B066738
現貨商品要多久可以收到?
第 1 次嘗試 · 已完成 39761ms載入詳情中…
-
案例 F270A664
你們的官方網站是什麼？
第 1 次嘗試 · 已完成 34855ms載入詳情中…
-
案例 8956F376
這款手機殼有支援 iPhone 15 Plus 嗎
第 1 次嘗試 · 已完成 25586ms載入詳情中…
-
案例 1A5BFFF1
我想退貨，申請需要填寫什麼資訊？
第 1 次嘗試 · 已完成 37683ms載入詳情中…
-
案例 183BA27A
退貨的退款流程大概需要多久?
第 1 次嘗試 · 已完成 34564ms載入詳情中…
-
案例 A54A14ED
現在下單這個客製化的 MacBook 保護殼要等多久才會收到?
第 1 次嘗試 · 已完成 45426ms載入詳情中…
-
案例 95D329BB
最近有什麼優惠活動嗎?
第 1 次嘗試 · 已完成 40021ms載入詳情中…
-
案例 11BA3717
如果超過七天，還可以退換貨嗎?
第 1 次嘗試 · 已完成 41211ms載入詳情中…
-
案例 C3B50F97
收到有瑕疵的商品要怎麼退換?
第 1 次嘗試 · 已完成 41261ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
75.0%
[37.5% – 100.0%] · n=8
F1 25.0% · 相關率 45.0% · 精確 27.5%
8 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
70.0%
[40.0% – 90.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
88.0%
[74.3% – 98.3%] · n=10
10 / 10 適用
-
案例 F37726C3
客製化可以自行提供圖檔嗎
第 1 次嘗試 · 已完成 34322ms載入詳情中…
-
案例 C86B47B5
這款保護殼有防摔抗震功能嗎
第 1 次嘗試 · 已完成 67395ms載入詳情中…
-
案例 45A198B4
為什麼你們的搜尋產品功能不會生成三個向量查詢？
第 1 次嘗試 · 已完成 40374ms載入詳情中…
-
案例 0C075DD3
如果我問問題，會有什麼反應嗎?
第 1 次嘗試 · 已完成 20269ms載入詳情中…
-
案例 CC886249
極簡全白的 iPhone 保護殼設計風格是什麼？
第 1 次嘗試 · 已完成 60038ms載入詳情中…
-
案例 CF7EEB5B
Baby Cakes AirPods 透明矽膠保護套是什麼材質?
第 1 次嘗試 · 已完成 38192ms載入詳情中…
-
案例 C5570F38
銀刃 iPad 全包帶筆槽保護殼的印刷技術是什麼？
第 1 次嘗試 · 已完成 43003ms載入詳情中…
-
案例 7D70EA50
春野 MacBook 保護殼防摔嗎
第 1 次嘗試 · 已完成 18385ms載入詳情中…
-
案例 AAC02204
客製化預覽圖需要多久會發送呢？
第 1 次嘗試 · 已完成 33323ms載入詳情中…
-
案例 1BFEF09A
純白 Apple Watch 樹脂蝴蝶扣錶帶的材質是什麼?
第 1 次嘗試 · 已完成 31526ms載入詳情中…