執行 #76

BenQ Arm Chatbot (bulk R1) → production-canary (canary)

狀態
已完成
案例
30
開始時間
16 May 11:17
耗時
599.8s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1993
Total Bot Cost · USD
73.8%
Prompt Cache Hit
cost per case
$0.0066
cost per 1k tokens
$0.0012
input tokens
164,967
output tokens
6,495
cached tokens — prompt-cache hit
121,728
Total Tokens
171,462
economic efficiency
cost per correct
$0.0013
pass rate
83.3%
25 / 30
judge cost
$0.0331
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 24fe348e-c2b8-489c-a8e0-1d797a1516ae 163 筆 KB
    SystemPrompt: sha256:5d190cfc KBContent: sha256:cbae9dce Tools: sha256:2a7f0a00 Scenarios: sha256:17f73b4c AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
0
首字延遲 p95
11380 ms
Bot 成本(Neptune)
$0.1993
Bot Tokens(Neptune)
171,462
Judge 成本(Eris)
$0.0331
Judge Tokens(Eris)
249,743
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
80.0%
[50.0% – 100.0%] · n=10
F1 14.5% · 相關率 28.0% · 精確 8.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
89.7%
[79.0% – 97.3%] · n=10
10 / 10 適用
  • 案例 BC6FF02C

    BenQ BSH01 的加強板可以增強什麼?

    已完成
    第 1 次嘗試 · 已完成 26876ms

    載入詳情中…

  • 案例 3C644A22

    螢幕支架為什麼可以適用多種工作場景?

    已完成
    第 1 次嘗試 · 已完成 54773ms

    載入詳情中…

  • 案例 F9F4C5E7

    Ergotron Trace 支架的 VESA 支援規格是什麼?

    已完成
    第 1 次嘗試 · 已完成 27475ms

    載入詳情中…

  • 案例 E035AB63

    這款支援的螢幕旋轉角度是多少?

    已完成
    第 1 次嘗試 · 已完成 34651ms

    載入詳情中…

  • 案例 FCDA9335

    螢幕支架可以減少什麼姿勢?

    已完成
    第 1 次嘗試 · 已完成 45175ms

    載入詳情中…

  • 案例 7536DCF9

    調整螢幕俯仰要怎麼確認力道平均?

    已完成
    第 1 次嘗試 · 已完成 41181ms

    載入詳情中…

  • 案例 D1ADCB7B

    這款支架高度調整範圍?

    已完成
    第 1 次嘗試 · 已完成 43191ms

    載入詳情中…

  • 案例 3BAA6024

    請問 BenQ BSH01 跟 BSH02 能支援多少吋的螢幕?

    已完成
    第 1 次嘗試 · 已完成 38014ms

    載入詳情中…

  • 案例 471F8A3A

    BSH02支架螢幕旋轉範圍是多少?

    已完成
    第 1 次嘗試 · 已完成 28927ms

    載入詳情中…

  • 案例 825D6329

    BenQ BSH01 的退貨流程是什麼?

    已完成
    第 1 次嘗試 · 已完成 29393ms

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 80.0% · 召回 80.0% · 精確 80.0%
10 / 10 適用
用對工具 召回
tool_usage
50.0%
[16.7% – 83.3%] · n=6
F1 50.0% · 召回 50.0% · 精確 66.7%
6 / 10 適用
答得到位 平均
answer_quality
74.7%
[58.3% – 89.3%] · n=10
10 / 10 適用
  • 案例 8B2D04E4

    我想查詢我的訂單狀態。

    已完成
    第 1 次嘗試 · 已完成 35179ms

    載入詳情中…

  • 案例 6E81C61F

    我想查詢螢幕支架,需提供哪些商品關鍵字或型號嗎?

    已完成
    第 1 次嘗試 · 已完成 61087ms

    載入詳情中…

  • 案例 CACBBA74

    這個螢幕怎麼安裝啊

    已完成
    第 1 次嘗試 · 已完成 63441ms

    載入詳情中…

  • 案例 887B53B3

    調整螢幕高度時,怎麼確認調整向上力道與調整向下力道是否平均?

    已完成
    第 1 次嘗試 · 已完成 35389ms

    載入詳情中…

  • 案例 81FD1494

    查詢常見問題有什麼條件?

    已完成
    第 1 次嘗試 · 已完成 35126ms

    載入詳情中…

  • 案例 2D9DFD55

    我這台螢幕支援哪種支架?

    已完成
    第 1 次嘗試 · 已完成 26523ms

    載入詳情中…

  • 案例 29790B34

    穿桌時需要注意什麼底部結構?

    已完成
    第 1 次嘗試 · 已完成 39085ms

    載入詳情中…

  • 案例 E053E9C2

    我這台螢幕型號是 PV3200U,能用 BSH01嗎?

    已完成
    第 1 次嘗試 · 已完成 29589ms

    載入詳情中…

  • 案例 D8CC8AF9

    請問穿桌安裝需要注意的桌面厚度是多少呢?

    已完成
    第 1 次嘗試 · 已完成 33911ms

    載入詳情中…

  • 案例 2D9B5D5C

    調整向上力道過於輕鬆,應怎麼做?

    已完成
    第 1 次嘗試 · 已完成 29562ms

    載入詳情中…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
62.5%
[25.0% – 87.5%] · n=8
F1 13.3% · 相關率 36.7% · 精確 32.5%
8 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=8
10 / 10 適用
答得到位 平均
answer_quality
90.7%
[83.3% – 97.0%] · n=10
10 / 10 適用
  • 案例 AE2E78CF

    BenQ 螢幕要怎麼確認支援 VESA 孔?

    已完成
    第 1 次嘗試 · 已完成 48014ms

    載入詳情中…

  • 案例 4BC09997

    AI 不能一直回答的話,會轉接嗎

    已完成
    第 1 次嘗試 · 已完成 38976ms

    載入詳情中…

  • 案例 AAA78221

    穿桌的安裝需要注意什麼材質嗎?

    已完成
    第 1 次嘗試 · 已完成 27258ms

    載入詳情中…

  • 案例 ADEF9333

    Ergotron Trace 支架可以上下調整多少距離?

    已完成
    第 1 次嘗試 · 已完成 29125ms

    載入詳情中…

  • 案例 F5379706

    請問 BenQ BSH01 可以支援多少kg 的螢幕?

    已完成
    第 1 次嘗試 · 已完成 55829ms

    載入詳情中…

  • 案例 70B5C7E9

    我的螢幕型號不在支援列表,會怎麼樣?

    已完成
    第 1 次嘗試 · 已完成 21121ms

    載入詳情中…

  • 案例 6BEFD75C

    Ergotron MXV 支架的螢幕水平/垂直旋轉角度是多少?

    已完成
    第 1 次嘗試 · 已完成 31711ms

    載入詳情中…

  • 案例 3FA6975A

    螢幕支架可以讓桌面環境更整潔嗎?

    已完成
    第 1 次嘗試 · 已完成 33160ms

    載入詳情中…

  • 案例 82664B38

    這款支架的高度調整範圍是?

    已完成
    第 1 次嘗試 · 已完成 40011ms

    載入詳情中…

  • 案例 3722EF80

    這款螢幕俯仰角度多少?

    已完成
    第 1 次嘗試 · 已完成 28665ms

    載入詳情中…