執行 #215

Service Client Intelligent - Rhino (bulk R1) → production-baseline

狀態
已完成
案例
28
開始時間
16 May 12:22
耗時
507.5s
¶ Economics · Bot-side N=28 attempts

Cost & Tokens

$0.2403
Total Bot Cost · USD
59.4%
Prompt Cache Hit
cost per case
$0.0086
cost per 1k tokens
$0.0013
input tokens
182,105
output tokens
4,787
cached tokens — prompt-cache hit
108,160
Total Tokens
186,892
economic efficiency
cost per correct
$0.0013
pass rate
67.9%
19 / 28
judge cost
$0.0249
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • e2abf68d-eac9-40ab-9535-1b538aaf95ed 338 筆 KB
    SystemPrompt: sha256:b57994de KBContent: sha256:2822837e Tools: sha256:4a6a05b0 Scenarios: sha256:526e5110 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
28 / 28
錯誤
0
失敗維度
5
首字延遲 p95
6669 ms
Bot 成本(Neptune)
$0.2403
Bot Tokens(Neptune)
186,892
Judge 成本(Eris)
$0.0249
Judge Tokens(Eris)
189,472
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
80.0%
[50.0% – 100.0%] · n=10
F1 26.7% · 相關率 17.1% · 精確 36.0%
10 / 10 適用 · 5 提示
不亂編造 平均
faithfulness
93.8%
[81.3% – 100.0%] · n=8
10 / 10 適用
答得到位 平均
answer_quality
85.0%
[69.0% – 97.0%] · n=10
10 / 10 適用
  • 案例 A0283982

    Janice Sung 的作品主題是什麼?

    已完成
    第 1 次嘗試 · 已完成 3285ms

    載入詳情中…

  • 案例 59105728

    One Piece 手機殼是跟誰合作推出的?

    已完成
    第 1 次嘗試 · 已完成 16806ms

    載入詳情中…

  • 案例 C8D05B58

    SKY STORY 的手機殼適用於什麼手機?

    已完成
    第 1 次嘗試 · 已完成 24880ms

    載入詳情中…

  • 案例 B6F6BEF2

    CircularBlue配備了什麼技術來檢測海洋垃圾?

    已完成
    第 1 次嘗試 · 已完成 27247ms

    載入詳情中…

  • 案例 3335FEB0

    6:Siege 是什麼產品?

    已完成
    第 1 次嘗試 · 已完成 24680ms

    載入詳情中…

  • 案例 745A5273

    Antique Housing Art 手機保護殼是什麼?

    已完成
    第 1 次嘗試 · 已完成 22286ms

    載入詳情中…

  • 案例 7C54E0C6

    RHINOSHIELD RhinoBuff 外殼有含 BPA 嗎?

    已完成
    第 1 次嘗試 · 已完成 10699ms

    載入詳情中…

  • 案例 C793BBD8

    Le Tour de France 手機殼有什麼樣的設計?

    已完成
    第 1 次嘗試 · 已完成 25701ms

    載入詳情中…

  • 案例 E9BF8411

    AquaStand RHINOSHIELD 有 DGCCRF 認證嗎

    已完成
    第 1 次嘗試 · 已完成 23768ms

    載入詳情中…

  • 案例 3B797558

    這款透明 iPhone 保護殼能自訂嗎

    已完成
    第 1 次嘗試 · 已完成 31801ms

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 83.3% · 召回 100.0% · 精確 75.0%
10 / 10 適用
用對工具 召回
tool_usage
0.0%
[0.0% – 0.0%] · n=3
F1 66.7% · 召回 50.0% · 精確 100.0%
3 / 10 適用
答得到位 平均
answer_quality
71.0%
[52.0% – 88.0%] · n=10
10 / 10 適用
  • 案例 2723FEFE

    請問如果產品有刮傷的情況,我該怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 22176ms

    載入詳情中…

  • 案例 61AF13D1

    可以問一下你們的產品容量是幾公升嗎?

    已完成
    第 1 次嘗試 · 已完成 16631ms

    載入詳情中…

  • 案例 8409C19B

    各型號的重量跟尺寸是多少?

    已完成
    第 1 次嘗試 · 已完成 10085ms

    載入詳情中…

  • 案例 F7FDBE69

    如果我的付款失敗了,該怎麼辦嗎?

    已完成
    第 1 次嘗試 · 已完成 18363ms

    載入詳情中…

  • 案例 79728264

    請問你們的產品有什麼重量和尺寸的資訊?

    已完成
    第 1 次嘗試 · 已完成 12618ms

    載入詳情中…

  • 案例 60EC2982

    如果我在付款時遇到問題,我應該怎麼做?

    已完成
    第 1 次嘗試 · 已完成 21420ms

    載入詳情中…

  • 案例 A2487ECB

    請問如何查詢產品的使用方法和教學呢?

    已完成
    第 1 次嘗試 · 已完成 12659ms

    載入詳情中…

  • 案例 064935B8

    我看到我的保護殼有刮傷,這算產品異常嗎?

    已完成
    第 1 次嘗試 · 已完成 16492ms

    載入詳情中…

  • 案例 43FFF280

    我有個產品皮膚出現剝落的情況,這算異常嗎?

    已完成
    第 1 次嘗試 · 已完成 17418ms

    載入詳情中…

  • 案例 14839ABA

    產品的重量尺寸是多少?

    已完成
    第 1 次嘗試 · 已完成 11019ms

    載入詳情中…

項目 III.

對話素養(混合問答)

mixed_qa 8 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
83.3%
[50.0% – 100.0%] · n=6
F1 27.8% · 相關率 23.3% · 精確 16.7%
6 / 8 適用
不亂編造 平均
faithfulness
83.3%
[50.0% – 100.0%] · n=6
8 / 8 適用
答得到位 平均
answer_quality
68.8%
[42.9% – 95.8%] · n=8
8 / 8 適用
  • 案例 28DC4056

    get_file_resource 是用來做什麼的?

    已完成
    第 1 次嘗試 · 已完成 10735ms

    載入詳情中…

  • 案例 31CD6AAD

    你們的不同型號重多少、尺寸有多大?

    已完成
    第 1 次嘗試 · 已完成 10359ms

    載入詳情中…

  • 案例 8706CE5A

    AquaStand可以讓冷飲保持多久涼?

    已完成
    第 1 次嘗試 · 已完成 17616ms

    載入詳情中…

  • 案例 897017EC

    Apple Watch 編織手環有含 BPS 嗎

    已完成
    第 1 次嘗試 · 已完成 17998ms

    載入詳情中…

  • 案例 A861C9D1

    RHINOSHIELD SolidX/ SolidSuit 有沒有 BPA/BPF/BPS?

    已完成
    第 1 次嘗試 · 已完成 20349ms

    載入詳情中…

  • 案例 A8D940E0

    要怎麼刪除我的會員帳號?

    已完成
    第 1 次嘗試 · 已完成 26181ms

    載入詳情中…

  • 案例 CBD6417C

    Apple Watch 的外殼能吸收多少衝擊力?

    已完成
    第 1 次嘗試 · 已完成 26713ms

    載入詳情中…

  • 案例 0531AA00

    請問 RHINOSHIELD AirX 的殼子可以回收嗎?還有 Jujutsu Kaisen 的系列可以選擇嗎?

    已完成
    第 1 次嘗試 · 已完成 45672ms

    載入詳情中…