執行 #61
APIOU 客服小幫手 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:10
- 耗時
- 603.5s
Cost & Tokens
$0.3372
Total Bot Cost · USD
48.2%
Prompt Cache Hit
- cost per case
- $0.0112
- cost per 1k tokens
- $0.0014
- input tokens
- 229,542
- output tokens
- 5,497
- cached tokens — prompt-cache hit
- 110,592
- Total Tokens
- 235,039
- cost per correct
- $0.0012
- pass rate
- 80.0%
- 24 / 30
- judge cost
- $0.0283
設定快照（reproducibility）
Bot 設定快照
-
4f1915d7-cca1-457e-aadd-b8cb1ab0f8bc
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
3
3539 ms
$0.3372
235,039
$0.0283
212,897
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 37.0% · 精確 20.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
96.7%
[94.3% – 99.0%] · n=10
10 / 10 適用
-
案例 773463AC
皮革手機殼可以用酒精擦拭嗎
第 1 次嘗試 · 已完成 17401ms載入詳情中…
-
案例 7478A6B1
兔好夢磁吸卡夾的保護殼有加強防摔設計嗎?
第 1 次嘗試 · 已完成 21282ms載入詳情中…
-
案例 287FF834
這款皮革手機殼有掛繩孔嗎?
第 1 次嘗試 · 已完成 11435ms載入詳情中…
-
案例 C8B3D07D
如果收不到重設密碼的信件該怎麼辦？
第 1 次嘗試 · 已完成 14673ms載入詳情中…
-
案例 9C2828B4
請問這個蝴蝶結愛心珠珠吊飾可以掛在手機墊片上嗎？
第 1 次嘗試 · 已完成 20918ms載入詳情中…
-
案例 7B4E87EE
透明手機殼有沒有加高保護鏡頭和螢幕?
第 1 次嘗試 · 已完成 24096ms載入詳情中…
-
案例 CED97D89
從 FB/IG 點開的，怎麼辦？
第 1 次嘗試 · 已完成 25177ms載入詳情中…
-
案例 40E7D9A1
小星星滿天星磁吸卡夾的磁吸力有多強?
第 1 次嘗試 · 已完成 26335ms載入詳情中…
-
案例 AC4147B0
鏡面手機殼會很容易刮傷嗎?
第 1 次嘗試 · 已完成 15527ms載入詳情中…
-
案例 69BD6DAE
要如何加入你們的會員?
第 1 次嘗試 · 已完成 17931ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 76.7% · 召回 90.0% · 精確 70.0%
10 / 10 適用
用對工具
召回
tool_usage
0.0%
[0.0% – 0.0%] · n=9
F1 15.6% · 召回 10.2% · 精確 55.6%
9 / 10 適用
答得到位
平均
answer_quality
70.7%
[52.3% – 86.3%] · n=10
10 / 10 適用
-
案例 6ECAE9BD
我想找 Macbook 保護殼，請問要怎麼給你們我的需求？
第 1 次嘗試 · 已完成 12842ms載入詳情中…
-
案例 A64B2BD7
我想合併訂單，但查不到我的訂單資訊，該怎麼辦?
第 1 次嘗試 · 已完成 29046ms載入詳情中…
-
案例 22016A75
請問我想客製化的商品流程是怎樣的？
第 1 次嘗試 · 已完成 12089ms載入詳情中…
-
案例 62CE033A
請問這個【客製化】文字款銀色爆裂紋皮革 MacBook 全包防刮保護殼現在有現貨嗎？
第 1 次嘗試 · 已完成 16170ms載入詳情中…
-
案例 0ABA8229
你們的手機殼支援 iPhone 15 Plus 嗎
第 1 次嘗試 · 已完成 21156ms載入詳情中…
-
案例 DB42C1C9
合併訂單需要提供哪些資訊?
第 1 次嘗試 · 已完成 27724ms載入詳情中…
-
案例 E3D69B53
我想買 Macbook 保護殼，請問要怎麼選擇?
第 1 次嘗試 · 已完成 36835ms載入詳情中…
-
案例 540FABD5
退貨流程要多久啊？
第 1 次嘗試 · 已完成 12609ms載入詳情中…
-
案例 550D6E5A
我想退貨，請問需要提供什麼資料？
第 1 次嘗試 · 已完成 10720ms載入詳情中…
-
案例 F82150A0
我想知道如果我要大量企業採購，該怎麼做？
第 1 次嘗試 · 已完成 19354ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
62.5%
[25.0% – 87.5%] · n=8
F1 20.8% · 相關率 36.7% · 精確 37.5%
8 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=8
10 / 10 適用
答得到位
平均
answer_quality
79.0%
[58.0% – 96.3%] · n=10
10 / 10 適用
-
案例 47992470
享買手機3C通訊員林店的營業時間是什麼時候？
第 1 次嘗試 · 已完成 6830ms載入詳情中…
-
案例 0668A267
透明手機殼的四邊會變黃嗎？
第 1 次嘗試 · 已完成 31221ms載入詳情中…
-
案例 3B2AAEC2
這款保護殼支援MagSafe功能嗎？
第 1 次嘗試 · 已完成 33639ms載入詳情中…
-
案例 D9A254F5
AI 無法回答問題的時候可以轉接給人類客服嗎
第 1 次嘗試 · 已完成 14925ms載入詳情中…
-
案例 32D50CFC
要查詢我的訂單資訊，需提供什麼資料?
第 1 次嘗試 · 已完成 16609ms載入詳情中…
-
案例 53806242
鏡頭底座貼拆除棒可以怎麼用?
第 1 次嘗試 · 已完成 24163ms載入詳情中…
-
案例 308A9A24
海星喝酒鏡面 iPhone 保護殼重多少？
第 1 次嘗試 · 已完成 21071ms載入詳情中…
-
案例 A4E0BC19
只能愛我 iPhone 透明防摔保護殼支援 MagSafe 嗎
第 1 次嘗試 · 已完成 16276ms載入詳情中…
-
案例 CA3DEA27
花的棋盤格保護殼適用哪幾款 MacBook?
第 1 次嘗試 · 已完成 28453ms載入詳情中…
-
案例 F05984FB
便攜式雙層飾品收納盒的材質是什麼?
第 1 次嘗試 · 已完成 25903ms載入詳情中…