執行 #135
IL·RE-Gelato AI 購物助手 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:43
- 耗時
- 474.2s
Cost & Tokens
$0.1971
Total Bot Cost · USD
38.0%
Prompt Cache Hit
- cost per case
- $0.0066
- cost per 1k tokens
- $0.0017
- input tokens
- 110,727
- output tokens
- 4,850
- cached tokens — prompt-cache hit
- 42,112
- Total Tokens
- 115,577
- cost per correct
- $0.0015
- pass rate
- 76.7%
- 23 / 30
- judge cost
- $0.034
設定快照（reproducibility）
Bot 設定快照
-
6a646cc5-daee-42fc-adaf-266d5992a059
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
1
3482 ms
$0.1971
115,577
$0.0340
253,086
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 10.0% · 精確 10.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
99.0%
[97.0% – 100.0%] · n=10
10 / 10 適用
-
案例 F852B266
拆單訂購有贈品的話優惠會怎樣？
第 1 次嘗試 · 已完成 12287ms載入詳情中…
-
案例 BA3DA85D
每個月幾號會發送生日禮金？
第 1 次嘗試 · 已完成 13990ms載入詳情中…
-
案例 043E224B
紅利點數是什麼時候收到的？
第 1 次嘗試 · 已完成 15181ms載入詳情中…
-
案例 940C9ACD
客製化小卡內容需要提前多久提供？
第 1 次嘗試 · 已完成 17717ms載入詳情中…
-
案例 45A6AECB
我可以透過 LINE 訂購彌月禮盒享有什麼優惠?
第 1 次嘗試 · 已完成 11370ms載入詳情中…
-
案例 17D31075
舊官網的購物金和紅利點數能在新官網使用嗎？
第 1 次嘗試 · 已完成 28338ms載入詳情中…
-
案例 37EDFE32
迷你盒曲奇餅乾有幾片?
第 1 次嘗試 · 已完成 11203ms載入詳情中…
-
案例 4D3EC3F4
請問目前可以在哪裡購買商品？
第 1 次嘗試 · 已完成 13668ms載入詳情中…
-
案例 1C3817CB
訂單成立後大概多久可以收到?
第 1 次嘗試 · 已完成 18324ms載入詳情中…
-
案例 E92A4183
請問美式鄉村餅乾系列的燕麥葡萄巧克力算不算素食者可以食用的？
第 1 次嘗試 · 已完成 13828ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 63.3% · 召回 80.0% · 精確 55.0%
10 / 10 適用
用對工具
召回
tool_usage
16.7%
[0.0% – 50.0%] · n=6
F1 16.7% · 召回 16.7% · 精確 33.3%
6 / 10 適用
答得到位
平均
answer_quality
62.3%
[48.3% – 77.3%] · n=10
10 / 10 適用
-
案例 9753A32C
要查詢訂單狀態，需要提供什麼資訊？
第 1 次嘗試 · 已完成 13714ms載入詳情中…
-
案例 40056D37
請問你們的曲奇禮盒還有現貨嗎？
第 1 次嘗試 · 已完成 9214ms載入詳情中…
-
案例 9CB98685
退換貨需要提供什麼資訊嗎？
第 1 次嘗試 · 已完成 14447ms載入詳情中…
-
案例 4370D550
收到商品後發現瑕疵，必須多久內提出申請？
第 1 次嘗試 · 已完成 19727ms載入詳情中…
-
案例 0E3A7354
如果我的商品收到後有瑕疵，像是外觀不完整，這算不算瑕疵嗎?
第 1 次嘗試 · 已完成 19099ms載入詳情中…
-
案例 E73DF6E3
請問你們如何透過系統查詢產品資訊？
第 1 次嘗試 · 已完成 15901ms載入詳情中…
-
案例 E53AF845
我想查詢之前下的特殊訂單，請問要如何進行？
第 1 次嘗試 · 已完成 12611ms載入詳情中…
-
案例 B685930F
退貨需在多久內申請啊？
第 1 次嘗試 · 已完成 15089ms載入詳情中…
-
案例 C805EDEC
我想知道如果需要分開寄送的話，需要提供什麼收件人的資料？
第 1 次嘗試 · 已完成 12773ms載入詳情中…
-
案例 FFE36AF7
如果我需要客製小卡，該怎麼辦？
第 1 次嘗試 · 已完成 14546ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 13.3% · 精確 10.0%
9 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.7%
[96.7% – 100.0%] · n=10
10 / 10 適用
-
案例 A0CC1CCE
舊官網的購物金在新官網能用嗎?
第 1 次嘗試 · 已完成 20880ms載入詳情中…
-
案例 3AAF9BBA
轉接真人客服的方式有哪些？
第 1 次嘗試 · 已完成 11268ms載入詳情中…
-
案例 44CB5573
一筆訂單可以分寄到不同地址嗎
第 1 次嘗試 · 已完成 12153ms載入詳情中…
-
案例 3B589D86
訂單加購客製化小卡需要提供什麼嗎？
第 1 次嘗試 · 已完成 11898ms載入詳情中…
-
案例 66001220
官網訂購彌月禮盒可以享有優惠嗎?
第 1 次嘗試 · 已完成 15676ms載入詳情中…
-
案例 1E9C3BA7
退款大概要等多久才能收到?
第 1 次嘗試 · 已完成 16010ms載入詳情中…
-
案例 94B70733
請問如果訂單是用生日禮金訂購的，取消後可以退還嗎？
第 1 次嘗試 · 已完成 14789ms載入詳情中…
-
案例 80E86536
美式鄉村餅乾系列中的義式番茄是什麼素的?
第 1 次嘗試 · 已完成 12901ms載入詳情中…
-
案例 B58CA664
請問達到升等條件後，會員等級會在何時自動更新呢？
第 1 次嘗試 · 已完成 14219ms載入詳情中…
-
案例 BEB6BE7C
特殊地址、偏遠地區及離島地址可以免運嗎?
第 1 次嘗試 · 已完成 13486ms載入詳情中…