執行 #189
Ocard (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:08
- 耗時
- 845.3s
Cost & Tokens
$0.1806
Total Bot Cost · USD
69.3%
Prompt Cache Hit
- cost per case
- $0.0060
- cost per 1k tokens
- $0.0011
- input tokens
- 157,528
- output tokens
- 3,661
- cached tokens — prompt-cache hit
- 109,184
- Total Tokens
- 161,189
- cost per correct
- $0.0014
- pass rate
- 73.3%
- 22 / 30
- judge cost
- $0.0301
設定快照（reproducibility）
Bot 設定快照
-
99569222-84ed-4cf9-9ea6-fe1e9ceb8eca
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
1
2962 ms
$0.1806
161,189
$0.0301
226,319
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 18.0% · 精確 10.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
95.3%
[88.7% – 99.7%] · n=10
10 / 10 適用
-
案例 0F8E7D6F
生日禮券的效期是幾時到?
第 1 次嘗試 · 已完成 17372ms載入詳情中…
-
案例 612AC8DD
刮刮卡活動中獎率是多少?
第 1 次嘗試 · 已完成 14933ms載入詳情中…
-
案例 3FD31AF5
過期點數清算指定日期是什麼？
第 1 次嘗試 · 已完成 17532ms載入詳情中…
-
案例 A4492804
動態消息的推播如果用完，還可以再加嗎？
第 1 次嘗試 · 已完成 18445ms載入詳情中…
-
案例 22740466
線上點的菜單可以怎麼設定？
第 1 次嘗試 · 已完成 18439ms載入詳情中…
-
案例 F8ECD7EE
請問會員再次消費後，舊點數期限會延長嗎？
第 1 次嘗試 · 已完成 16392ms載入詳情中…
-
案例 766DBD50
今天預約紀錄在哪裡看啊
第 1 次嘗試 · 已完成 13820ms載入詳情中…
-
案例 0E4F0AA0
請問修改會員等級的步驟是什麼呢？
第 1 次嘗試 · 已完成 12549ms載入詳情中…
-
案例 794C2392
要怎麼告知活動名稱設定雙倍贈點優惠？
第 1 次嘗試 · 已完成 14937ms載入詳情中…
-
案例 78D63C7A
快速輪播目前有哪些選擇?
第 1 次嘗試 · 已完成 21157ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 60.0% · 召回 80.0% · 精確 50.0%
10 / 10 適用
用對工具
召回
tool_usage
28.6%
[0.0% – 57.1%] · n=7
F1 28.6% · 召回 28.6% · 精確 28.6%
7 / 10 適用
答得到位
平均
answer_quality
61.7%
[46.3% – 75.7%] · n=10
10 / 10 適用
-
案例 00ABABC6
續約的費用是多少?
第 1 次嘗試 · 已完成 9681ms載入詳情中…
-
案例 21261FCD
我沒有收到點數，要怎麼處理？
第 1 次嘗試 · 已完成 12129ms載入詳情中…
-
案例 011EA8D3
我最近購買了一些東西，但還沒有收到點數，請問要怎麼處理呢？
第 1 次嘗試 · 已完成 13296ms載入詳情中…
-
案例 48E86B73
我想知道發票照片辨識的工具是如何判斷付款狀態的呢？
第 1 次嘗試 · 已完成 13469ms載入詳情中…
-
案例 CAF3CF89
為什麼這個方案這麼貴？
第 1 次嘗試 · 已完成 15336ms載入詳情中…
-
案例 1E8BBA8B
請問知識與產品查詢怎麼使用呢？
第 1 次嘗試 · 已完成 15856ms載入詳情中…
-
案例 66B75F26
上傳發票照片會影響辨識準確度嗎
第 1 次嘗試 · 已完成 15257ms載入詳情中…
-
案例 4228A2CF
我想瞭解關於補發點數的操作流程，請問要怎麼做呢？
第 1 次嘗試 · 已完成 19682ms載入詳情中…
-
案例 D5C54716
點數補發要怎麼處理啊?
第 1 次嘗試 · 已完成 10132ms載入詳情中…
-
案例 CABBC97B
請問有關於續約的費用，我想了解一下，但好像找不到相關資訊，能不能轉接到人工客服？
第 1 次嘗試 · 已完成 8041ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 14.4% · 精確 10.0%
9 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
92.3%
[80.7% – 99.3%] · n=10
10 / 10 適用
-
案例 DFEEA284
為什麼線上點輸入地址沒有反應？
第 1 次嘗試 · 已完成 15903ms載入詳情中…
-
案例 AAA41A94
這款髮片的規格和尺寸是什麼？
第 1 次嘗試 · 已完成 14136ms載入詳情中…
-
案例 0CBA3976
Ocard可以針對不同桌號提供不一樣的點餐連結嗎
第 1 次嘗試 · 已完成 26594ms載入詳情中…
-
案例 1ABCC118
請問點數可以換刮刮卡嗎？
第 1 次嘗試 · 已完成 19546ms載入詳情中…
-
案例 603AC992
未綁定的會員可以收到禮物券嗎
第 1 次嘗試 · 已完成 15133ms載入詳情中…
-
案例 3185ADDA
請問當用戶端兌換功能關閉時，消費端會怎麼顯示獎品呢？
第 1 次嘗試 · 已完成 14037ms載入詳情中…
-
案例 E94C8FBE
logo照片是首圖嗎？
第 1 次嘗試 · 已完成 15105ms載入詳情中…
-
案例 0E535C22
升等可以累計贈送嗎
第 1 次嘗試 · 已完成 13105ms載入詳情中…
-
案例 61E2DC0F
普通會員的點數累積比例是多少？
第 1 次嘗試 · 已完成 20534ms載入詳情中…
-
案例 58EB8811
訂單編號#NE9Y3K有成立嗎?
第 1 次嘗試 · 已完成 21086ms載入詳情中…