執行 #62
APIOU 客服小幫手 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:10
- 耗時
- 799.1s
Cost & Tokens
$0.2586
Total Bot Cost · USD
72.3%
Prompt Cache Hit
- cost per case
- $0.0086
- cost per 1k tokens
- $0.0011
- input tokens
- 231,501
- output tokens
- 5,838
- cached tokens — prompt-cache hit
- 167,424
- Total Tokens
- 237,339
- cost per correct
- $0.0012
- pass rate
- 80.0%
- 24 / 30
- judge cost
- $0.028
設定快照（reproducibility）
Bot 設定快照
-
4f1915d7-cca1-457e-aadd-b8cb1ab0f8bc
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
3
13418 ms
$0.2586
237,339
$0.0280
211,470
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 40.0% · 精確 20.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.0%
[95.7% – 100.0%] · n=10
10 / 10 適用
-
案例 773463AC
皮革手機殼可以用酒精擦拭嗎
第 1 次嘗試 · 已完成 34496ms載入詳情中…
-
案例 7478A6B1
兔好夢磁吸卡夾的保護殼有加強防摔設計嗎?
第 1 次嘗試 · 已完成 47933ms載入詳情中…
-
案例 287FF834
這款皮革手機殼有掛繩孔嗎?
第 1 次嘗試 · 已完成 40918ms載入詳情中…
-
案例 C8B3D07D
如果收不到重設密碼的信件該怎麼辦？
第 1 次嘗試 · 已完成 40003ms載入詳情中…
-
案例 9C2828B4
請問這個蝴蝶結愛心珠珠吊飾可以掛在手機墊片上嗎？
第 1 次嘗試 · 已完成 48184ms載入詳情中…
-
案例 7B4E87EE
透明手機殼有沒有加高保護鏡頭和螢幕?
第 1 次嘗試 · 已完成 48950ms載入詳情中…
-
案例 CED97D89
從 FB/IG 點開的，怎麼辦？
第 1 次嘗試 · 已完成 43451ms載入詳情中…
-
案例 40E7D9A1
小星星滿天星磁吸卡夾的磁吸力有多強?
第 1 次嘗試 · 已完成 49622ms載入詳情中…
-
案例 AC4147B0
鏡面手機殼會很容易刮傷嗎?
第 1 次嘗試 · 已完成 45292ms載入詳情中…
-
案例 69BD6DAE
要如何加入你們的會員?
第 1 次嘗試 · 已完成 65157ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 76.7% · 召回 90.0% · 精確 70.0%
10 / 10 適用
用對工具
召回
tool_usage
0.0%
[0.0% – 0.0%] · n=9
F1 15.6% · 召回 10.2% · 精確 55.6%
9 / 10 適用
答得到位
平均
answer_quality
71.0%
[52.3% – 86.7%] · n=10
10 / 10 適用
-
案例 6ECAE9BD
我想找 Macbook 保護殼，請問要怎麼給你們我的需求？
第 1 次嘗試 · 已完成 31238ms載入詳情中…
-
案例 A64B2BD7
我想合併訂單，但查不到我的訂單資訊，該怎麼辦?
第 1 次嘗試 · 已完成 51508ms載入詳情中…
-
案例 22016A75
請問我想客製化的商品流程是怎樣的？
第 1 次嘗試 · 已完成 22438ms載入詳情中…
-
案例 62CE033A
請問這個【客製化】文字款銀色爆裂紋皮革 MacBook 全包防刮保護殼現在有現貨嗎？
第 1 次嘗試 · 已完成 36964ms載入詳情中…
-
案例 0ABA8229
你們的手機殼支援 iPhone 15 Plus 嗎
第 1 次嘗試 · 已完成 62225ms載入詳情中…
-
案例 DB42C1C9
合併訂單需要提供哪些資訊?
第 1 次嘗試 · 已完成 49403ms載入詳情中…
-
案例 E3D69B53
我想買 Macbook 保護殼，請問要怎麼選擇?
第 1 次嘗試 · 已完成 69069ms載入詳情中…
-
案例 540FABD5
退貨流程要多久啊？
第 1 次嘗試 · 已完成 40874ms載入詳情中…
-
案例 550D6E5A
我想退貨，請問需要提供什麼資料？
第 1 次嘗試 · 已完成 27413ms載入詳情中…
-
案例 F82150A0
我想知道如果我要大量企業採購，該怎麼做？
第 1 次嘗試 · 已完成 53501ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
62.5%
[25.0% – 100.0%] · n=8
F1 20.8% · 相關率 35.0% · 精確 37.5%
8 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
93.8%
[81.3% – 100.0%] · n=8
10 / 10 適用
答得到位
平均
answer_quality
77.0%
[53.7% – 95.3%] · n=10
10 / 10 適用
-
案例 47992470
享買手機3C通訊員林店的營業時間是什麼時候？
第 1 次嘗試 · 已完成 9779ms載入詳情中…
-
案例 0668A267
透明手機殼的四邊會變黃嗎？
第 1 次嘗試 · 已完成 56599ms載入詳情中…
-
案例 3B2AAEC2
這款保護殼支援MagSafe功能嗎？
第 1 次嘗試 · 已完成 48027ms載入詳情中…
-
案例 D9A254F5
AI 無法回答問題的時候可以轉接給人類客服嗎
第 1 次嘗試 · 已完成 35338ms載入詳情中…
-
案例 32D50CFC
要查詢我的訂單資訊，需提供什麼資料?
第 1 次嘗試 · 已完成 70063ms載入詳情中…
-
案例 53806242
鏡頭底座貼拆除棒可以怎麼用?
第 1 次嘗試 · 已完成 64218ms載入詳情中…
-
案例 308A9A24
海星喝酒鏡面 iPhone 保護殼重多少？
第 1 次嘗試 · 已完成 55642ms載入詳情中…
-
案例 A4E0BC19
只能愛我 iPhone 透明防摔保護殼支援 MagSafe 嗎
第 1 次嘗試 · 已完成 13130ms載入詳情中…
-
案例 CA3DEA27
花的棋盤格保護殼適用哪幾款 MacBook?
第 1 次嘗試 · 已完成 43477ms載入詳情中…
-
案例 F05984FB
便攜式雙層飾品收納盒的材質是什麼?
第 1 次嘗試 · 已完成 63005ms載入詳情中…