執行 #243

VIGILL - Malaysia (bulk R1) → production-baseline

狀態
已完成
案例
30
開始時間
16 May 12:36
耗時
495.8s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.3630
Total Bot Cost · USD
55.0%
Prompt Cache Hit
cost per case
$0.0121
cost per 1k tokens
$0.0013
input tokens
270,583
output tokens
5,646
cached tokens — prompt-cache hit
148,864
Total Tokens
276,229
economic efficiency
cost per correct
$0.0020
pass rate
60.0%
18 / 30
judge cost
$0.0359
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • a52d1832-a313-41ff-87b0-9d175296e425 10 筆 KB
    SystemPrompt: sha256:82a7c3c5 KBContent: sha256:22518fb9 Tools: sha256:ac965c96 Scenarios: sha256:facdffeb AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
7
首字延遲 p95
4179 ms
Bot 成本(Neptune)
$0.3630
Bot Tokens(Neptune)
276,229
Judge 成本(Eris)
$0.0359
Judge Tokens(Eris)
256,525
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
80.0%
[50.0% – 100.0%] · n=10
F1 26.7% · 相關率 49.0% · 精確 16.0%
10 / 10 適用 · 3 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
85.3%
[71.7% – 96.0%] · n=10
10 / 10 適用
  • 案例 26571CBA

    美白精華100ml有什麼效果?

    已完成
    第 1 次嘗試 · 已完成 39113ms

    載入詳情中…

  • 案例 374EBD7F

    美白凝露30ML是專為什麼設計的?

    已完成
    第 1 次嘗試 · 已完成 21346ms

    載入詳情中…

  • 案例 A8C8AF37

    Whitening Gel 100ml 有什麼效果?

    已完成
    第 1 次嘗試 · 已完成 31000ms

    載入詳情中…

  • 案例 905E39E7

    極植零菌免洗內褲是什麼材料做的?

    已完成
    第 1 次嘗試 · 已完成 31782ms

    載入詳情中…

  • 案例 8CCC4BEA

    GEL 和 Serum 需要一起使用嗎?

    已完成
    第 1 次嘗試 · 已完成 24546ms

    載入詳情中…

  • 案例 B6D712E0

    請問法式柔密除毛貼片的材料是什麼?

    已完成
    第 1 次嘗試 · 已完成 25003ms

    載入詳情中…

  • 案例 F31A780A

    Whitening Gel 100ml可以用在大腿內側嗎?

    已完成
    第 1 次嘗試 · 已完成 15984ms

    載入詳情中…

  • 案例 62210AD2

    VIGILL 女性湿式卫生纸一包有多少抽?

    已完成
    第 1 次嘗試 · 已完成 20927ms

    載入詳情中…

  • 案例 5F19B7BD

    Brightening Cream (Pink) 要沖洗嗎?

    已完成
    第 1 次嘗試 · 已完成 20409ms

    載入詳情中…

  • 案例 42A9A8DF

    請問賦活美白組裡面有什麼產品?

    已完成
    第 1 次嘗試 · 已完成 32173ms

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 70.0% · 召回 80.0% · 精確 65.0%
10 / 10 適用
用對工具 召回
tool_usage
16.7%
[0.0% – 50.0%] · n=6
F1 27.8% · 召回 25.0% · 精確 66.7%
6 / 10 適用
答得到位 平均
answer_quality
74.3%
[62.3% – 85.0%] · n=10
10 / 10 適用
  • 案例 4AC575F1

    我想要團體大量訂購,請問需要提供什麼資料?

    已完成
    第 1 次嘗試 · 已完成 12263ms

    載入詳情中…

  • 案例 D1845D41

    這款高效舒淨防護噴霧有貨嗎?

    已完成
    第 1 次嘗試 · 已完成 17907ms

    載入詳情中…

  • 案例 68F9C3CB

    這個私密沐浴露還有庫存嗎?

    已完成
    第 1 次嘗試 · 已完成 13348ms

    載入詳情中…

  • 案例 93FC41EB

    我想查詢我的訂單進度,訂單號碼是什麼呢?

    已完成
    第 1 次嘗試 · 已完成 19080ms

    載入詳情中…

  • 案例 726912FE

    請問我的訂單進度如何?

    已完成
    第 1 次嘗試 · 已完成 9789ms

    載入詳情中…

  • 案例 BF8CD18A

    我收到的商品壞掉了,怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 19156ms

    載入詳情中…

  • 案例 FCCBC8E7

    最近登入有問題,無法進入我的賬號,這個怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 16539ms

    載入詳情中…

  • 案例 FFFF44E6

    可以先問客製化的需求嗎?

    已完成
    第 1 次嘗試 · 已完成 10484ms

    載入詳情中…

  • 案例 3E90B2BD

    如果訂單編號查不到,系統會怎麼處理呢?

    已完成
    第 1 次嘗試 · 已完成 16904ms

    載入詳情中…

  • 案例 45B217FD

    為什麼收到的商品有瑕疵?

    已完成
    第 1 次嘗試 · 已完成 22803ms

    載入詳情中…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
62.5%
[25.0% – 100.0%] · n=8
F1 20.2% · 相關率 46.3% · 精確 12.1%
8 / 10 適用 · 3 提示
不亂編造 平均
faithfulness
80.0%
[50.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
64.3%
[42.7% – 82.7%] · n=10
10 / 10 適用
  • 案例 0C7F9A40

    美白3件组可以分開用嗎?

    已完成
    第 1 次嘗試 · 已完成 26178ms

    載入詳情中…

  • 案例 8E5C2A80

    VIGILL私密护理液有益生元嗎?

    已完成
    第 1 次嘗試 · 已完成 27403ms

    載入詳情中…

  • 案例 751F5661

    我怎麼可以查以前的對話記錄?

    已完成
    第 1 次嘗試 · 已完成 11345ms

    載入詳情中…

  • 案例 B612F0A8

    請問要申請商品瑕疵處理需要提供哪些資料呢?

    已完成
    第 1 次嘗試 · 已完成 23311ms

    載入詳情中…

  • 案例 A5EDF4EE

    這個【赋活美白组】能鎖水保濕嗎?

    已完成
    第 1 次嘗試 · 已完成 22667ms

    載入詳情中…

  • 案例 E2EFE391

    VIGILL私密沐浴露適合什麼樣的肌膚?

    已完成
    第 1 次嘗試 · 已完成 19728ms

    載入詳情中…

  • 案例 5969E3F4

    高效美白精華的配方是什麼?

    已完成
    第 1 次嘗試 · 已完成 17424ms

    載入詳情中…

  • 案例 DBC9B772

    VIGILL享氛沁润保養油的容量是多少?

    已完成
    第 1 次嘗試 · 已完成 18327ms

    載入詳情中…

  • 案例 A3FE7D6F

    VIGILL 妇洁蔓越莓私密益生菌是用什麼技術保護益生菌的?

    已完成
    第 1 次嘗試 · 已完成 21700ms

    載入詳情中…

  • 案例 4E958AB8

    VIGILL私密护理液可以改善私密肌肤的暗沉嗎

    已完成
    第 1 次嘗試 · 已完成 23445ms

    載入詳情中…