執行 #134
HoHo 好服務 TEST (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:43
- 耗時
- 496.8s
Cost & Tokens
$0.1964
Total Bot Cost · USD
81.9%
Prompt Cache Hit
- cost per case
- $0.0065
- cost per 1k tokens
- $0.0009
- input tokens
- 202,575
- output tokens
- 5,010
- cached tokens — prompt-cache hit
- 165,888
- Total Tokens
- 207,585
- cost per correct
- $0.0011
- pass rate
- 90.0%
- 27 / 30
- judge cost
- $0.0289
設定快照（reproducibility）
Bot 設定快照
-
19eaa920-cb7a-4401-a506-1f460437fc77
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
0
8562 ms
$0.1964
207,585
$0.0289
219,218
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 30.0% · 精確 20.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.0%
[96.3% – 99.3%] · n=10
10 / 10 適用
-
案例 DA78016D
冷氣清洗方案的抗菌鍍膜主要材料是什麼？
第 1 次嘗試 · 已完成 51875ms載入詳情中…
-
案例 5291F639
售後保固針對家電產品的責任歸屬是由誰判定?
第 1 次嘗試 · 已完成 31128ms載入詳情中…
-
案例 01847877
下雨天水塔清洗會進行嗎?
第 1 次嘗試 · 已完成 47549ms載入詳情中…
-
案例 0C221565
請問無痛搬家打包跟上架可以同天完成嗎？
第 1 次嘗試 · 已完成 44475ms載入詳情中…
-
案例 6F471BCC
什麼樣的人適合居家鐘點清潔？
第 1 次嘗試 · 已完成 20492ms載入詳情中…
-
案例 D6FBFC16
如果同意洗滌風險，洗壞了衣物能賠償嗎?
第 1 次嘗試 · 已完成 26503ms載入詳情中…
-
案例 ED0764F8
景觀窗兩側有開小窗可以清洗嗎
第 1 次嘗試 · 已完成 37527ms載入詳情中…
-
案例 0CA84FEC
服務品質驗收時能跟師傅溝通嗎?
第 1 次嘗試 · 已完成 29825ms載入詳情中…
-
案例 3706CA83
信用卡授權失敗是因為資訊不正確嗎
第 1 次嘗試 · 已完成 32073ms載入詳情中…
-
案例 C50FFF6D
箱子可以親自送去維修嗎?
第 1 次嘗試 · 已完成 27086ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 80.0% · 召回 80.0% · 精確 80.0%
10 / 10 適用
用對工具
召回
tool_usage
28.6%
[0.0% – 71.4%] · n=7
F1 28.6% · 召回 28.6% · 精確 100.0%
7 / 10 適用
答得到位
平均
answer_quality
83.0%
[69.7% – 93.0%] · n=10
10 / 10 適用
-
案例 48F8F39F
要取消訂單需要提供什麼資訊?
第 1 次嘗試 · 已完成 31693ms載入詳情中…
-
案例 EE8DB835
想請問一下，是否可以透過 LINE 進行估價諮詢呢？
第 1 次嘗試 · 已完成 17041ms載入詳情中…
-
案例 DCD807D3
地毯清潔要多少錢?
第 1 次嘗試 · 已完成 23180ms載入詳情中…
-
案例 D4AAE327
我剛剛在網站上購物，結果總是顯示付款失敗，這是怎麼回事?
第 1 次嘗試 · 已完成 24384ms載入詳情中…
-
案例 29A3A0C5
我現在很生氣，怎麼還沒回我？
第 1 次嘗試 · 已完成 24045ms載入詳情中…
-
案例 0373FC69
如果我只想查詢清潔服務，會給我推薦產品嗎？
第 1 次嘗試 · 已完成 34336ms載入詳情中…
-
案例 3B4F4AFD
我想知道可以約什麼服務？
第 1 次嘗試 · 已完成 16475ms載入詳情中…
-
案例 0C3FA158
我已經等了很久了，怎麼還沒有人回我啊？
第 1 次嘗試 · 已完成 10878ms載入詳情中…
-
案例 9790701B
我想知道你們的居家清潔服務有哪些？
第 1 次嘗試 · 已完成 21391ms載入詳情中…
-
案例 E9E95D58
如果今天取消服務，專人到府的空班費會不會收？
第 1 次嘗試 · 已完成 23076ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 33.3% · 相關率 35.0% · 精確 20.0%
8 / 10 適用
不亂編造
平均
faithfulness
96.3%
[88.9% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
88.3%
[74.7% – 96.7%] · n=10
10 / 10 適用
-
案例 4E0B8132
行李箱已送至維修中心後有什麼流程?
第 1 次嘗試 · 已完成 44318ms載入詳情中…
-
案例 88C5A246
請問可以將我轉接到人類客服代表嗎？
第 1 次嘗試 · 已完成 22677ms載入詳情中…
-
案例 383D5570
居家清潔送洗服務包括什麼？
第 1 次嘗試 · 已完成 40499ms載入詳情中…
-
案例 3C833B00
水管清洗是用什麼材料的?
第 1 次嘗試 · 已完成 48829ms載入詳情中…
-
案例 50B08A19
同意洗滌風險後洗壞了可以賠償嗎
第 1 次嘗試 · 已完成 48846ms載入詳情中…
-
案例 A5D4C545
台南、高雄地區的分離式冷氣機清洗服務是否有品牌限制？
第 1 次嘗試 · 已完成 25145ms載入詳情中…
-
案例 D870A08F
HoHo居家清潔每兩週一次的服務是怎樣的?
第 1 次嘗試 · 已完成 51276ms載入詳情中…
-
案例 35F99B4B
結帳時要怎麼使用折扣碼？
第 1 次嘗試 · 已完成 22778ms載入詳情中…
-
案例 EBCEB069
你們什麼時候會來清潔？
第 1 次嘗試 · 已完成 34997ms載入詳情中…
-
案例 075D3C1A
搬家為什麼是整理人生的好時機?
第 1 次嘗試 · 已完成 21890ms載入詳情中…