執行 #386
智能客服 - 犀犀 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 13:40
- 耗時
- 480.8s
Cost & Tokens
$0.1878
Total Bot Cost · USD
72.0%
Prompt Cache Hit
- cost per case
- $0.0063
- cost per 1k tokens
- $0.0011
- input tokens
- 165,505
- output tokens
- 4,441
- cached tokens — prompt-cache hit
- 119,168
- Total Tokens
- 169,946
- cost per correct
- $0.0011
- pass rate
- 80.0%
- 24 / 30
- judge cost
- $0.0265
設定快照（reproducibility）
Bot 設定快照
-
5c7c4a1f-bde1-4109-8f36-437a6d7f3557
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
5
17578 ms
$0.1878
169,946
$0.0265
206,602
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
60.0%
[30.0% – 90.0%] · n=10
F1 20.0% · 相關率 55.7% · 精確 52.0%
10 / 10 適用
·
2 提示
不亂編造
平均
faithfulness
85.7%
[57.1% – 100.0%] · n=7
10 / 10 適用
答得到位
平均
answer_quality
64.3%
[34.7% – 89.7%] · n=10
10 / 10 適用
-
案例 D90048FF
使用相機按鈕時要怎樣做才能避免水分影響操作？
第 1 次嘗試 · 已完成 20248ms載入詳情中…
-
案例 E17346C8
Niniwanted 的手機殼是什麼樣的?
第 1 次嘗試 · 已完成 20935ms載入詳情中…
-
案例 23355ED8
犀牛盾鏡頭保護貼僅覆蓋在哪裡?
第 1 次嘗試 · 已完成 24440ms載入詳情中…
-
案例 31587440
火影忍者的故事是圍繞誰的經歷?
第 1 次嘗試 · 已完成 11035ms載入詳情中…
-
案例 46A768F0
鏡頭保護貼跟其他廠牌能同時用嗎？
第 1 次嘗試 · 已完成 41912ms載入詳情中…
-
案例 12ADBB41
迪士尼-經典系列的設計靈感來自哪裡?
第 1 次嘗試 · 已完成 35364ms載入詳情中…
-
案例 F309BB37
犀牛盾 AquaStand 磁吸水壺可以盛裝乳製品嗎
第 1 次嘗試 · 已完成 44979ms載入詳情中…
-
案例 8EEE02D7
這個聯名系列包含什麼產品?
第 1 次嘗試 · 已完成 35334ms載入詳情中…
-
案例 2B52517C
如果訂單包含預購商品和現貨，會怎麼處理?
第 1 次嘗試 · 已完成 35085ms載入詳情中…
-
案例 B4EBB320
Knock Knock A2Z 有什麼產品啊
第 1 次嘗試 · 已完成 40994ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 83.3% · 召回 100.0% · 精確 75.0%
10 / 10 適用
用對工具
召回
tool_usage
0.0%
[0.0% – 0.0%] · n=4
F1 16.7% · 召回 12.5% · 精確 100.0%
4 / 10 適用
答得到位
平均
answer_quality
83.7%
[66.0% – 96.7%] · n=10
10 / 10 適用
-
案例 C3B2E5B3
產品有異常的時候要怎麼填客服表單?
第 1 次嘗試 · 已完成 16329ms載入詳情中…
-
案例 EBE11105
出貨時間有沒有相關的問題可以問?
第 1 次嘗試 · 已完成 25325ms載入詳情中…
-
案例 4027E837
這款產品的尺寸跟重量是多少?
第 1 次嘗試 · 已完成 7841ms載入詳情中…
-
案例 B9B94EF9
不同型號的重量是多少?
第 1 次嘗試 · 已完成 13697ms載入詳情中…
-
案例 E2671938
有沒有便宜一點的商品？
第 1 次嘗試 · 已完成 10373ms載入詳情中…
-
案例 2D890223
超商取貨大概要多久才會送到？
第 1 次嘗試 · 已完成 28970ms載入詳情中…
-
案例 39DE2F8E
為什麼查不到我想問的商品資訊？
第 1 次嘗試 · 已完成 30389ms載入詳情中…
-
案例 C0632D63
有沒有 700 元以下的商品?
第 1 次嘗試 · 已完成 31362ms載入詳情中…
-
案例 F77E28BE
海外配送的時間是多久？
第 1 次嘗試 · 已完成 36484ms載入詳情中…
-
案例 EC04E084
產品如果出現刮傷要怎麼辦?
第 1 次嘗試 · 已完成 28085ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
88.9%
[66.7% – 100.0%] · n=9
F1 29.6% · 相關率 36.7% · 精確 17.8%
9 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
94.7%
[89.3% – 98.7%] · n=10
10 / 10 適用
-
案例 EE13889F
犀牛盾9H鋼化玻璃貼能跟手機殼相容嗎?
第 1 次嘗試 · 已完成 52234ms載入詳情中…
-
案例 1DAEE972
夢工廠和犀牛盾聯名的手機殼有哪些?
第 1 次嘗試 · 已完成 52241ms載入詳情中…
-
案例 55347C08
我想要的商品怎麼會找不到?
第 1 次嘗試 · 已完成 45587ms載入詳情中…
-
案例 B965785D
iPhone 14 以下型號轉換背蓋模式，需要拆除飾條嗎?
第 1 次嘗試 · 已完成 29683ms載入詳情中…
-
案例 7BB6B76B
清潔後手腕掛繩要放哪裡晾乾?
第 1 次嘗試 · 已完成 37736ms載入詳情中…
-
案例 D118E3D8
使用無線充電時效果會變嗎?
第 1 次嘗試 · 已完成 27290ms載入詳情中…
-
案例 85683905
退貨進度會收到通知嗎
第 1 次嘗試 · 已完成 33205ms載入詳情中…
-
案例 5995225D
犀牛盾GRIP O的MagSafe磁力圈有達到什麼標準?
第 1 次嘗試 · 已完成 29853ms載入詳情中…
-
案例 772FEC8C
犀牛盾鏡頭底座保護貼能用在其他手機殼上嗎？
第 1 次嘗試 · 已完成 41602ms載入詳情中…
-
案例 DB247087
退貨商品需要原始包裝嗎
第 1 次嘗試 · 已完成 40290ms載入詳情中…