執行 #206

SASANA (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:16
耗時
413.1s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.3415
Total Bot Cost · USD
30.4%
Prompt Cache Hit
cost per case
$0.0114
cost per 1k tokens
$0.0018
input tokens
182,001
output tokens
7,550
cached tokens — prompt-cache hit
55,296
Total Tokens
189,551
economic efficiency
cost per correct
$0.0018
pass rate
83.3%
25 / 30
judge cost
$0.0445
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 2e9abf9c-ac77-460a-ba1b-b1f20007a54b 46 筆 KB
    SystemPrompt: sha256:e4a7be06 KBContent: sha256:f069f434 Tools: sha256:e3b0c442 Scenarios: sha256:c6231be2 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
2
首字延遲 p95
29115 ms
Bot 成本（Neptune）
$0.3415
Bot Tokens（Neptune）
189,551
Judge 成本（Eris）
$0.0445
Judge Tokens（Eris）
310,452
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 25.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
98.7%
[96.0% – 100.0%] · n=10
10 / 10 適用
  • 案例 E7216FA6

    遇到停滯期是什麼意思？

    已完成
    第 1 次嘗試 · 已完成 35552ms

    載入詳情中…
  • 案例 D3D01351

    18歲以下的孩童可以吃纖羽錠嗎

    已完成
    第 1 次嘗試 · 已完成 20305ms

    載入詳情中…
  • 案例 88BAE0DF

    纖羽錠一天建議吃幾粒？

    已完成
    第 1 次嘗試 · 已完成 26138ms

    載入詳情中…
  • 案例 803A68BB

    請問退款金額是怎麼計算的？

    已完成
    第 1 次嘗試 · 已完成 15663ms

    載入詳情中…
  • 案例 AC539CB4

    纖羽錠會造成腹痛或拉肚子嗎

    已完成
    第 1 次嘗試 · 已完成 27242ms

    載入詳情中…
  • 案例 6B3E0D79

    好順麗要怎麼搭配飲水使用？

    已完成
    第 1 次嘗試 · 已完成 33262ms

    載入詳情中…
  • 案例 5DBE0675

    纖羽錠吃多久可以吃完？

    已完成
    第 1 次嘗試 · 已完成 17176ms

    載入詳情中…
  • 案例 D6AF7F3B

    使用神泌體頂級全效面膜後會有什麼效果？

    已完成
    第 1 次嘗試 · 已完成 26696ms

    載入詳情中…
  • 案例 22136919

    吃藥的時候可以吃纖羽錠嗎？

    已完成
    第 1 次嘗試 · 已完成 32874ms

    載入詳情中…
  • 案例 91EDCE66

    請問精華液能迅速吸收嗎？

    已完成
    第 1 次嘗試 · 已完成 25221ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位 平均
answer_quality
75.3%
[54.7% – 95.3%] · n=10
10 / 10 適用
  • 案例 186E6ED6

    我對神泌體頂級全效面膜不滿意，可以退費嗎？

    已完成
    第 1 次嘗試 · 已完成 36829ms

    載入詳情中…
  • 案例 2FB559FA

    請問我可以查詢一下有關面膜的退費資訊嗎？

    已完成
    第 1 次嘗試 · 已完成 39074ms

    載入詳情中…
  • 案例 EF1A9855

    請問如果我對極光神泌體精華液不滿意，可以申請退費嗎？

    已完成
    第 1 次嘗試 · 已完成 34540ms

    載入詳情中…
  • 案例 A997FBE8

    可以推薦一些面膜嗎？

    已完成
    第 1 次嘗試 · 已完成 29695ms

    載入詳情中…
  • 案例 5CB8E6B8

    神泌體頂級全效面膜的退費規則是什麼？

    已完成
    第 1 次嘗試 · 已完成 43005ms

    載入詳情中…
  • 案例 9E7EEA4F

    查詢商品資訊請幫我

    已完成
    第 1 次嘗試 · 已完成 43152ms

    載入詳情中…
  • 案例 D69A4083

    退費需要哪些條件啊？

    已完成
    第 1 次嘗試 · 已完成 43476ms

    載入詳情中…
  • 案例 2A7CB359

    進階統一搜尋工具可以找什麼東西?

    已完成
    第 1 次嘗試 · 已完成 21934ms

    載入詳情中…
  • 案例 A42FB7B3

    我可以查詢一下有關退費的規定嗎？

    已完成
    第 1 次嘗試 · 已完成 28871ms

    載入詳情中…
  • 案例 9CC87A10

    我想知道如果對你們的產品不滿意可以退費嗎？

    已完成
    第 1 次嘗試 · 已完成 53913ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 26.7% · 精確 10.0%
9 / 10 適用
不亂編造 平均
faithfulness
96.7%
[90.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
85.7%
[65.7% – 100.0%] · n=10
10 / 10 適用
  • 案例 65DE8FDD

    神泌體頂級修護安瓶一盒有幾組？

    已完成
    第 1 次嘗試 · 已完成 20461ms

    載入詳情中…
  • 案例 47EDE063

    請問推薦的產品有哪些？

    已完成
    第 1 次嘗試 · 已完成 37112ms

    載入詳情中…
  • 案例 504E60A9

    擦上乳液或乳霜可以幫助鎖水嗎

    已完成
    第 1 次嘗試 · 已完成 16673ms

    載入詳情中…
  • 案例 33DA8DB9

    纖羽錠若每日吃3-4粒可以吃多久?

    已完成
    第 1 次嘗試 · 已完成 25155ms

    載入詳情中…
  • 案例 406409DF

    極光神泌體精華液可以當日常保養用嗎

    已完成
    第 1 次嘗試 · 已完成 32248ms

    載入詳情中…
  • 案例 D8F84C57

    纖羽錠的效果因人而異嗎

    已完成
    第 1 次嘗試 · 已完成 38955ms

    載入詳情中…
  • 案例 2E2A9D78

    18歲以下可以吃瘦身商品嗎?

    已完成
    第 1 次嘗試 · 已完成 43982ms

    載入詳情中…
  • 案例 6B523782

    18歲以下的小孩可以吃纖羽錠嗎

    已完成
    第 1 次嘗試 · 已完成 39275ms

    載入詳情中…
  • 案例 8EB0F354

    請問纖羽錠可以幫助控制飲食攝取嗎？

    已完成
    第 1 次嘗試 · 已完成 32818ms

    載入詳情中…
  • 案例 0350A0DB

    纖羽錠含有什麼成分？

    已完成
    第 1 次嘗試 · 已完成 40201ms

    載入詳情中…