執行 #190
Ocard (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:08
- 耗時
- 540.2s
Cost & Tokens
$0.1555
Total Bot Cost · USD
79.5%
Prompt Cache Hit
- cost per case
- $0.0052
- cost per 1k tokens
- $0.0010
- input tokens
- 156,449
- output tokens
- 3,648
- cached tokens — prompt-cache hit
- 124,416
- Total Tokens
- 160,097
- cost per correct
- $0.0013
- pass rate
- 73.3%
- 22 / 30
- judge cost
- $0.0291
設定快照（reproducibility）
Bot 設定快照
-
99569222-84ed-4cf9-9ea6-fe1e9ceb8eca
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
1
9039 ms
$0.1555
160,097
$0.0291
225,012
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 18.0% · 精確 10.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
95.0%
[87.7% – 99.7%] · n=10
10 / 10 適用
-
案例 0F8E7D6F
生日禮券的效期是幾時到?
第 1 次嘗試 · 已完成 27836ms載入詳情中…
-
案例 612AC8DD
刮刮卡活動中獎率是多少?
第 1 次嘗試 · 已完成 51288ms載入詳情中…
-
案例 3FD31AF5
過期點數清算指定日期是什麼？
第 1 次嘗試 · 已完成 38039ms載入詳情中…
-
案例 A4492804
動態消息的推播如果用完，還可以再加嗎？
第 1 次嘗試 · 已完成 50035ms載入詳情中…
-
案例 22740466
線上點的菜單可以怎麼設定？
第 1 次嘗試 · 已完成 38280ms載入詳情中…
-
案例 F8ECD7EE
請問會員再次消費後，舊點數期限會延長嗎？
第 1 次嘗試 · 已完成 46205ms載入詳情中…
-
案例 766DBD50
今天預約紀錄在哪裡看啊
第 1 次嘗試 · 已完成 32505ms載入詳情中…
-
案例 0E4F0AA0
請問修改會員等級的步驟是什麼呢？
第 1 次嘗試 · 已完成 44694ms載入詳情中…
-
案例 794C2392
要怎麼告知活動名稱設定雙倍贈點優惠？
第 1 次嘗試 · 已完成 35776ms載入詳情中…
-
案例 78D63C7A
快速輪播目前有哪些選擇?
第 1 次嘗試 · 已完成 31549ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 60.0% · 召回 80.0% · 精確 50.0%
10 / 10 適用
用對工具
召回
tool_usage
57.1%
[14.3% – 100.0%] · n=7
F1 57.1% · 召回 57.1% · 精確 57.1%
7 / 10 適用
答得到位
平均
answer_quality
63.0%
[47.7% – 78.7%] · n=10
10 / 10 適用
-
案例 00ABABC6
續約的費用是多少?
第 1 次嘗試 · 已完成 19011ms載入詳情中…
-
案例 21261FCD
我沒有收到點數，要怎麼處理？
第 1 次嘗試 · 已完成 41530ms載入詳情中…
-
案例 011EA8D3
我最近購買了一些東西，但還沒有收到點數，請問要怎麼處理呢？
第 1 次嘗試 · 已完成 45971ms載入詳情中…
-
案例 48E86B73
我想知道發票照片辨識的工具是如何判斷付款狀態的呢？
第 1 次嘗試 · 已完成 34376ms載入詳情中…
-
案例 CAF3CF89
為什麼這個方案這麼貴？
第 1 次嘗試 · 已完成 38815ms載入詳情中…
-
案例 1E8BBA8B
請問知識與產品查詢怎麼使用呢？
第 1 次嘗試 · 已完成 37080ms載入詳情中…
-
案例 66B75F26
上傳發票照片會影響辨識準確度嗎
第 1 次嘗試 · 已完成 31356ms載入詳情中…
-
案例 4228A2CF
我想瞭解關於補發點數的操作流程，請問要怎麼做呢？
第 1 次嘗試 · 已完成 26342ms載入詳情中…
-
案例 D5C54716
點數補發要怎麼處理啊?
第 1 次嘗試 · 已完成 19550ms載入詳情中…
-
案例 CABBC97B
請問有關於續約的費用，我想了解一下，但好像找不到相關資訊，能不能轉接到人工客服？
第 1 次嘗試 · 已完成 7325ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 14.4% · 精確 10.0%
9 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
92.7%
[79.7% – 99.7%] · n=10
10 / 10 適用
-
案例 DFEEA284
為什麼線上點輸入地址沒有反應？
第 1 次嘗試 · 已完成 31685ms載入詳情中…
-
案例 AAA41A94
這款髮片的規格和尺寸是什麼？
第 1 次嘗試 · 已完成 32642ms載入詳情中…
-
案例 0CBA3976
Ocard可以針對不同桌號提供不一樣的點餐連結嗎
第 1 次嘗試 · 已完成 55502ms載入詳情中…
-
案例 1ABCC118
請問點數可以換刮刮卡嗎？
第 1 次嘗試 · 已完成 22814ms載入詳情中…
-
案例 603AC992
未綁定的會員可以收到禮物券嗎
第 1 次嘗試 · 已完成 27213ms載入詳情中…
-
案例 3185ADDA
請問當用戶端兌換功能關閉時，消費端會怎麼顯示獎品呢？
第 1 次嘗試 · 已完成 29598ms載入詳情中…
-
案例 E94C8FBE
logo照片是首圖嗎？
第 1 次嘗試 · 已完成 27435ms載入詳情中…
-
案例 0E535C22
升等可以累計贈送嗎
第 1 次嘗試 · 已完成 36555ms載入詳情中…
-
案例 61E2DC0F
普通會員的點數累積比例是多少？
第 1 次嘗試 · 已完成 32261ms載入詳情中…
-
案例 58EB8811
訂單編號#NE9Y3K有成立嗎?
第 1 次嘗試 · 已完成 40439ms載入詳情中…