執行 #136
IL·RE-Gelato AI 購物助手 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:44
- 耗時
- 536.7s
Cost & Tokens
$0.1774
Total Bot Cost · USD
50.1%
Prompt Cache Hit
- cost per case
- $0.0059
- cost per 1k tokens
- $0.0015
- input tokens
- 110,518
- output tokens
- 4,938
- cached tokens — prompt-cache hit
- 55,424
- Total Tokens
- 115,456
- cost per correct
- $0.0014
- pass rate
- 76.7%
- 23 / 30
- judge cost
- $0.0328
設定快照（reproducibility）
Bot 設定快照
-
6a646cc5-daee-42fc-adaf-266d5992a059
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
1
8121 ms
$0.1774
115,456
$0.0328
252,724
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 10.0% · 精確 10.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.7%
[96.7% – 100.0%] · n=10
10 / 10 適用
-
案例 F852B266
拆單訂購有贈品的話優惠會怎樣？
第 1 次嘗試 · 已完成 23814ms載入詳情中…
-
案例 BA3DA85D
每個月幾號會發送生日禮金？
第 1 次嘗試 · 已完成 46551ms載入詳情中…
-
案例 043E224B
紅利點數是什麼時候收到的？
第 1 次嘗試 · 已完成 26075ms載入詳情中…
-
案例 940C9ACD
客製化小卡內容需要提前多久提供？
第 1 次嘗試 · 已完成 20804ms載入詳情中…
-
案例 45A6AECB
我可以透過 LINE 訂購彌月禮盒享有什麼優惠?
第 1 次嘗試 · 已完成 37803ms載入詳情中…
-
案例 17D31075
舊官網的購物金和紅利點數能在新官網使用嗎？
第 1 次嘗試 · 已完成 26933ms載入詳情中…
-
案例 37EDFE32
迷你盒曲奇餅乾有幾片?
第 1 次嘗試 · 已完成 23361ms載入詳情中…
-
案例 4D3EC3F4
請問目前可以在哪裡購買商品？
第 1 次嘗試 · 已完成 22669ms載入詳情中…
-
案例 1C3817CB
訂單成立後大概多久可以收到?
第 1 次嘗試 · 已完成 16257ms載入詳情中…
-
案例 E92A4183
請問美式鄉村餅乾系列的燕麥葡萄巧克力算不算素食者可以食用的？
第 1 次嘗試 · 已完成 31065ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 60.0% · 召回 80.0% · 精確 50.0%
10 / 10 適用
用對工具
召回
tool_usage
16.7%
[0.0% – 50.0%] · n=6
F1 16.7% · 召回 16.7% · 精確 33.3%
6 / 10 適用
答得到位
平均
answer_quality
62.0%
[47.7% – 78.3%] · n=10
10 / 10 適用
-
案例 9753A32C
要查詢訂單狀態，需要提供什麼資訊？
第 1 次嘗試 · 已完成 37054ms載入詳情中…
-
案例 40056D37
請問你們的曲奇禮盒還有現貨嗎？
第 1 次嘗試 · 已完成 24143ms載入詳情中…
-
案例 9CB98685
退換貨需要提供什麼資訊嗎？
第 1 次嘗試 · 已完成 30747ms載入詳情中…
-
案例 4370D550
收到商品後發現瑕疵，必須多久內提出申請？
第 1 次嘗試 · 已完成 25516ms載入詳情中…
-
案例 0E3A7354
如果我的商品收到後有瑕疵，像是外觀不完整，這算不算瑕疵嗎?
第 1 次嘗試 · 已完成 35222ms載入詳情中…
-
案例 E73DF6E3
請問你們如何透過系統查詢產品資訊？
第 1 次嘗試 · 已完成 28069ms載入詳情中…
-
案例 E53AF845
我想查詢之前下的特殊訂單，請問要如何進行？
第 1 次嘗試 · 已完成 30203ms載入詳情中…
-
案例 B685930F
退貨需在多久內申請啊？
第 1 次嘗試 · 已完成 33326ms載入詳情中…
-
案例 C805EDEC
我想知道如果需要分開寄送的話，需要提供什麼收件人的資料？
第 1 次嘗試 · 已完成 28575ms載入詳情中…
-
案例 FFE36AF7
如果我需要客製小卡，該怎麼辦？
第 1 次嘗試 · 已完成 32320ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 13.3% · 精確 10.0%
9 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.7%
[96.7% – 100.0%] · n=10
10 / 10 適用
-
案例 A0CC1CCE
舊官網的購物金在新官網能用嗎?
第 1 次嘗試 · 已完成 44785ms載入詳情中…
-
案例 3AAF9BBA
轉接真人客服的方式有哪些？
第 1 次嘗試 · 已完成 37626ms載入詳情中…
-
案例 44CB5573
一筆訂單可以分寄到不同地址嗎
第 1 次嘗試 · 已完成 28508ms載入詳情中…
-
案例 3B589D86
訂單加購客製化小卡需要提供什麼嗎？
第 1 次嘗試 · 已完成 23262ms載入詳情中…
-
案例 66001220
官網訂購彌月禮盒可以享有優惠嗎?
第 1 次嘗試 · 已完成 33110ms載入詳情中…
-
案例 1E9C3BA7
退款大概要等多久才能收到?
第 1 次嘗試 · 已完成 32726ms載入詳情中…
-
案例 94B70733
請問如果訂單是用生日禮金訂購的，取消後可以退還嗎？
第 1 次嘗試 · 已完成 34129ms載入詳情中…
-
案例 80E86536
美式鄉村餅乾系列中的義式番茄是什麼素的?
第 1 次嘗試 · 已完成 34032ms載入詳情中…
-
案例 B58CA664
請問達到升等條件後，會員等級會在何時自動更新呢？
第 1 次嘗試 · 已完成 26731ms載入詳情中…
-
案例 BEB6BE7C
特殊地址、偏遠地區及離島地址可以免運嗎?
第 1 次嘗試 · 已完成 29526ms載入詳情中…