執行 #74
Badgy (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:16
- 耗時
- 389.9s
Cost & Tokens
$0.1455
Total Bot Cost · USD
76.4%
Prompt Cache Hit
- cost per case
- $0.0049
- cost per 1k tokens
- $0.0011
- input tokens
- 133,724
- output tokens
- 3,913
- cached tokens — prompt-cache hit
- 102,144
- Total Tokens
- 137,637
- cost per correct
- $0.0010
- pass rate
- 86.7%
- 26 / 30
- judge cost
- $0.0271
設定快照（reproducibility）
Bot 設定快照
-
eeded90e-cc08-42b8-95d8-f873278b3b1a
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
2
11953 ms
$0.1455
137,637
$0.0271
213,025
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 21.0% · 精確 10.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
94.0%
[84.7% – 99.7%] · n=10
10 / 10 適用
-
案例 E5B0B815
兒童需要算入總人數嗎
第 1 次嘗試 · 已完成 36203ms載入詳情中…
-
案例 0C46850E
為什麼選擇完人數後無法進行下一步？
第 1 次嘗試 · 已完成 30239ms載入詳情中…
-
案例 67591E62
可以重新預訂嗎？
第 1 次嘗試 · 已完成 47953ms載入詳情中…
-
案例 5EEC944B
如果有超出預訂的人數，餐廳會怎麼處理?
第 1 次嘗試 · 已完成 67825ms載入詳情中…
-
案例 2911698F
Eatigo 預訂有哪些不包含的東西?
第 1 次嘗試 · 已完成 28352ms載入詳情中…
-
案例 A9E0520E
如果我到店人數多於預訂人數，會有折扣嗎？
第 1 次嘗試 · 已完成 18749ms載入詳情中…
-
案例 4E888F52
訂單完成後可以怎麼評論店家?
第 1 次嘗試 · 已完成 26846ms載入詳情中…
-
案例 4D21B272
我如果被餐廳拒絕入座怎麼辦?
第 1 次嘗試 · 已完成 32712ms載入詳情中…
-
案例 E20F15C5
請問我該如何在 App 刪除帳號？
第 1 次嘗試 · 已完成 32312ms載入詳情中…
-
案例 806CC1D0
沒有 Eatigo 帳號可以預訂嗎
第 1 次嘗試 · 已完成 55205ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 76.7% · 召回 90.0% · 精確 70.0%
10 / 10 適用
用對工具
召回
tool_usage
0.0%
F1 0.0% · 召回 0.0% · 精確 100.0%
1 / 10 適用
答得到位
平均
answer_quality
88.0%
[78.0% – 96.0%] · n=10
10 / 10 適用
-
案例 299AA1CD
如果我預訂的時候有小孩，還要算在總人數裡嗎？
第 1 次嘗試 · 已完成 30164ms載入詳情中…
-
案例 5F4301FD
app 開不起來怎麼辦?
第 1 次嘗試 · 已完成 18518ms載入詳情中…
-
案例 78CA5D9C
我的訂單狀態顯示錯誤，該怎麼辦？
第 1 次嘗試 · 已完成 31438ms載入詳情中…
-
案例 912FF67F
我已經參加活動了，但狀態還是顯示 '即將到來'，怎麼辦?
第 1 次嘗試 · 已完成 52191ms載入詳情中…
-
案例 555B44E7
如果我是帶 4 位大人和 1 位小孩去用餐，預訂時要怎麼算人數？
第 1 次嘗試 · 已完成 24966ms載入詳情中…
-
案例 DD21BE5F
為什麼 Eatigo 沒有提供生日優惠碼或新用戶優惠碼？
第 1 次嘗試 · 已完成 24821ms載入詳情中…
-
案例 4423402E
請問我為什麼無法預訂？
第 1 次嘗試 · 已完成 30782ms載入詳情中…
-
案例 4B01ABFB
有關活動的優惠嗎?
第 1 次嘗試 · 已完成 31828ms載入詳情中…
-
案例 D6865F20
我如果遲到會怎麼樣？
第 1 次嘗試 · 已完成 21286ms載入詳情中…
-
案例 FA85AE07
如果我超過預訂時間沒有去，這筆訂單會怎麼樣？
第 1 次嘗試 · 已完成 21132ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 15.0% · 精確 10.0%
8 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
89.3%
[69.3% – 100.0%] · n=10
10 / 10 適用
-
案例 7C6D1DE1
更改人數要怎麼做啊?
第 1 次嘗試 · 已完成 37689ms載入詳情中…
-
案例 67B4F43E
在 FunNow 上可以取消訂單嗎
第 1 次嘗試 · 已完成 10527ms載入詳情中…
-
案例 F47B0627
可以指定座位或包廂嗎?
第 1 次嘗試 · 已完成 31558ms載入詳情中…
-
案例 F862025B
我最多可以提前多久預訂?
第 1 次嘗試 · 已完成 37257ms載入詳情中…
-
案例 E852490C
為什麼訂單紀錄不能刪除?
第 1 次嘗試 · 已完成 33966ms載入詳情中…
-
案例 4C627CAE
怎麼設定時間搜尋範圍呢？
第 1 次嘗試 · 已完成 36919ms載入詳情中…
-
案例 FBD41DE7
請問我需要註冊帳號才能享有預訂折扣嗎？
第 1 次嘗試 · 已完成 27045ms載入詳情中…
-
案例 1070340E
Eatigo 用餐時間是幾點的格式?
第 1 次嘗試 · 已完成 34604ms載入詳情中…
-
案例 3D6C5EB2
到店用餐預訂需要先付費嗎?
第 1 次嘗試 · 已完成 31486ms載入詳情中…
-
案例 2AE99056
如果同桌有未經預訂的同行者，也能享有折扣嗎?
第 1 次嘗試 · 已完成 21486ms載入詳情中…