執行 #205

SASANA (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:16
耗時
966.5s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2122
Total Bot Cost · USD
77.6%
Prompt Cache Hit
cost per case
$0.0071
cost per 1k tokens
$0.0011
input tokens
181,674
output tokens
7,552
cached tokens — prompt-cache hit
141,056
Total Tokens
189,226
economic efficiency
cost per correct
$0.0016
pass rate
83.3%
25 / 30
judge cost
$0.0412
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 2e9abf9c-ac77-460a-ba1b-b1f20007a54b 46 筆 KB
    SystemPrompt: sha256:e4a7be06 KBContent: sha256:f069f434 Tools: sha256:e3b0c442 Scenarios: sha256:c6231be2 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
2
首字延遲 p95
15872 ms
Bot 成本（Neptune）
$0.2122
Bot Tokens（Neptune）
189,226
Judge 成本（Eris）
$0.0412
Judge Tokens（Eris）
310,084
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 25.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
99.7%
[99.0% – 100.0%] · n=10
10 / 10 適用
  • 案例 E7216FA6

    遇到停滯期是什麼意思？

    已完成
    第 1 次嘗試 · 已完成 21838ms

    載入詳情中…
  • 案例 D3D01351

    18歲以下的孩童可以吃纖羽錠嗎

    已完成
    第 1 次嘗試 · 已完成 8936ms

    載入詳情中…
  • 案例 88BAE0DF

    纖羽錠一天建議吃幾粒？

    已完成
    第 1 次嘗試 · 已完成 17718ms

    載入詳情中…
  • 案例 803A68BB

    請問退款金額是怎麼計算的？

    已完成
    第 1 次嘗試 · 已完成 9388ms

    載入詳情中…
  • 案例 AC539CB4

    纖羽錠會造成腹痛或拉肚子嗎

    已完成
    第 1 次嘗試 · 已完成 19212ms

    載入詳情中…
  • 案例 6B3E0D79

    好順麗要怎麼搭配飲水使用？

    已完成
    第 1 次嘗試 · 已完成 15508ms

    載入詳情中…
  • 案例 5DBE0675

    纖羽錠吃多久可以吃完？

    已完成
    第 1 次嘗試 · 已完成 12794ms

    載入詳情中…
  • 案例 D6AF7F3B

    使用神泌體頂級全效面膜後會有什麼效果？

    已完成
    第 1 次嘗試 · 已完成 20075ms

    載入詳情中…
  • 案例 22136919

    吃藥的時候可以吃纖羽錠嗎？

    已完成
    第 1 次嘗試 · 已完成 13738ms

    載入詳情中…
  • 案例 91EDCE66

    請問精華液能迅速吸收嗎？

    已完成
    第 1 次嘗試 · 已完成 15748ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位 平均
answer_quality
75.3%
[54.3% – 96.0%] · n=10
10 / 10 適用
  • 案例 186E6ED6

    我對神泌體頂級全效面膜不滿意，可以退費嗎？

    已完成
    第 1 次嘗試 · 已完成 27049ms

    載入詳情中…
  • 案例 2FB559FA

    請問我可以查詢一下有關面膜的退費資訊嗎？

    已完成
    第 1 次嘗試 · 已完成 25274ms

    載入詳情中…
  • 案例 EF1A9855

    請問如果我對極光神泌體精華液不滿意，可以申請退費嗎？

    已完成
    第 1 次嘗試 · 已完成 25631ms

    載入詳情中…
  • 案例 A997FBE8

    可以推薦一些面膜嗎？

    已完成
    第 1 次嘗試 · 已完成 11368ms

    載入詳情中…
  • 案例 5CB8E6B8

    神泌體頂級全效面膜的退費規則是什麼？

    已完成
    第 1 次嘗試 · 已完成 31968ms

    載入詳情中…
  • 案例 9E7EEA4F

    查詢商品資訊請幫我

    已完成
    第 1 次嘗試 · 已完成 21013ms

    載入詳情中…
  • 案例 D69A4083

    退費需要哪些條件啊？

    已完成
    第 1 次嘗試 · 已完成 36108ms

    載入詳情中…
  • 案例 2A7CB359

    進階統一搜尋工具可以找什麼東西?

    已完成
    第 1 次嘗試 · 已完成 13590ms

    載入詳情中…
  • 案例 A42FB7B3

    我可以查詢一下有關退費的規定嗎？

    已完成
    第 1 次嘗試 · 已完成 29867ms

    載入詳情中…
  • 案例 9CC87A10

    我想知道如果對你們的產品不滿意可以退費嗎？

    已完成
    第 1 次嘗試 · 已完成 27664ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 24.4% · 精確 10.0%
9 / 10 適用
不亂編造 平均
faithfulness
96.7%
[90.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
85.7%
[66.3% – 99.3%] · n=10
10 / 10 適用
  • 案例 65DE8FDD

    神泌體頂級修護安瓶一盒有幾組？

    已完成
    第 1 次嘗試 · 已完成 12056ms

    載入詳情中…
  • 案例 47EDE063

    請問推薦的產品有哪些？

    已完成
    第 1 次嘗試 · 已完成 36814ms

    載入詳情中…
  • 案例 504E60A9

    擦上乳液或乳霜可以幫助鎖水嗎

    已完成
    第 1 次嘗試 · 已完成 10167ms

    載入詳情中…
  • 案例 33DA8DB9

    纖羽錠若每日吃3-4粒可以吃多久?

    已完成
    第 1 次嘗試 · 已完成 11327ms

    載入詳情中…
  • 案例 406409DF

    極光神泌體精華液可以當日常保養用嗎

    已完成
    第 1 次嘗試 · 已完成 13198ms

    載入詳情中…
  • 案例 D8F84C57

    纖羽錠的效果因人而異嗎

    已完成
    第 1 次嘗試 · 已完成 13568ms

    載入詳情中…
  • 案例 2E2A9D78

    18歲以下可以吃瘦身商品嗎?

    已完成
    第 1 次嘗試 · 已完成 10031ms

    載入詳情中…
  • 案例 6B523782

    18歲以下的小孩可以吃纖羽錠嗎

    已完成
    第 1 次嘗試 · 已完成 11574ms

    載入詳情中…
  • 案例 8EB0F354

    請問纖羽錠可以幫助控制飲食攝取嗎？

    已完成
    第 1 次嘗試 · 已完成 21203ms

    載入詳情中…
  • 案例 0350A0DB

    纖羽錠含有什麼成分？

    已完成
    第 1 次嘗試 · 已完成 17786ms

    載入詳情中…