執行 #144

JINS AI 小幫手 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 11:49
耗時
365.9s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1720
Total Bot Cost · USD
80.3%
Prompt Cache Hit
cost per case
$0.0057
cost per 1k tokens
$0.0010
input tokens
172,248
output tokens
4,384
cached tokens — prompt-cache hit
138,368
Total Tokens
176,632
economic efficiency
cost per correct
$0.0014
pass rate
83.3%
25 / 30
judge cost
$0.0353
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • c8e10539-4306-4add-93bb-244a948aaa44 62 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:5f8f6f3b Tools: sha256:13e5aa51 Scenarios: sha256:044b296d AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
10245 ms
Bot 成本（Neptune）
$0.1720
Bot Tokens（Neptune）
176,632
Judge 成本（Eris）
$0.0353
Judge Tokens（Eris）
266,531
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 13.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
99.7%
[99.0% – 100.0%] · n=10
10 / 10 適用
  • 案例 4EA15831

    線上購物可以用超商條碼支付嗎

    已完成
    第 1 次嘗試 · 已完成 15243ms

    載入詳情中…
  • 案例 2309FE5F

    樹脂鏡片是安全鏡片嗎?

    已完成
    第 1 次嘗試 · 已完成 31952ms

    載入詳情中…
  • 案例 C8A3F07C

    舊眼鏡的度數可以配鏡嗎?

    已完成
    第 1 次嘗試 · 已完成 36891ms

    載入詳情中…
  • 案例 0B663B34

    保固書遺失可以補發嗎

    已完成
    第 1 次嘗試 · 已完成 27202ms

    載入詳情中…
  • 案例 909EB5F1

    會員專屬福利包括什麼?

    已完成
    第 1 次嘗試 · 已完成 32436ms

    載入詳情中…
  • 案例 545C465C

    鏡片有防潑水功能嗎？

    已完成
    第 1 次嘗試 · 已完成 28224ms

    載入詳情中…
  • 案例 057F0653

    JINS的鏡框價格包含什麼？

    已完成
    第 1 次嘗試 · 已完成 25318ms

    載入詳情中…
  • 案例 E5E8815A

    線上訂老花配鏡需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 29165ms

    載入詳情中…
  • 案例 C1C0BFA0

    請問網路商城可以單售鏡框嗎?

    已完成
    第 1 次嘗試 · 已完成 31399ms

    載入詳情中…
  • 案例 AE2E7CE4

    會員等級的資訊在哪裡查？

    已完成
    第 1 次嘗試 · 已完成 40524ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位 平均
answer_quality
68.0%
[52.3% – 82.7%] · n=10
10 / 10 適用
  • 案例 6225AEF1

    這個產品怎麼用?

    已完成
    第 1 次嘗試 · 已完成 37495ms

    載入詳情中…
  • 案例 72C00B30

    保養需要注意什麼嗎？

    已完成
    第 1 次嘗試 · 已完成 31834ms

    載入詳情中…
  • 案例 4C8ED548

    什麼時候可以查詢產品資訊?

    已完成
    第 1 次嘗試 · 已完成 32904ms

    載入詳情中…
  • 案例 1AC0C6B9

    請問你們的退貨政策是什麼呢？

    已完成
    第 1 次嘗試 · 已完成 38522ms

    載入詳情中…
  • 案例 4480FB99

    可以查詢最近的門市位置嗎?

    已完成
    第 1 次嘗試 · 已完成 41938ms

    載入詳情中…
  • 案例 083B609C

    請問這款髮片的保養方式是什麼？使用期限大概多久呢？

    已完成
    第 1 次嘗試 · 已完成 41762ms

    載入詳情中…
  • 案例 3034E215

    產品維護保養要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 57405ms

    載入詳情中…
  • 案例 E2B15BD9

    我可以查詢一下你們的產品嗎?

    已完成
    第 1 次嘗試 · 已完成 51893ms

    載入詳情中…
  • 案例 FAAD10A3

    問知識查詢的問題可以問什麼呢?

    已完成
    第 1 次嘗試 · 已完成 55751ms

    載入詳情中…
  • 案例 A5702204

    你們的商品如何退貨退款?

    已完成
    第 1 次嘗試 · 已完成 57823ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 21.3% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
84.7%
[66.7% – 97.7%] · n=10
10 / 10 適用
  • 案例 14035BB2

    百貨公司停車券提供規定是什麼?

    已完成
    第 1 次嘗試 · 已完成 36171ms

    載入詳情中…
  • 案例 D78D18AA

    get_history 加 trace 會怎樣

    已完成
    第 1 次嘗試 · 已完成 34223ms

    載入詳情中…
  • 案例 455068C0

    什麼情況會轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 26650ms

    載入詳情中…
  • 案例 D517866C

    加入會員可以享有什麼優惠？

    已完成
    第 1 次嘗試 · 已完成 34940ms

    載入詳情中…
  • 案例 35F50DB1

    請問功能性鏡片需要另外加價購買嗎？

    已完成
    第 1 次嘗試 · 已完成 44331ms

    載入詳情中…
  • 案例 CF00E61B

    眼鏡的免費更換怎麼算？

    已完成
    第 1 次嘗試 · 已完成 36192ms

    載入詳情中…
  • 案例 6728D87C

    配鏡一般需要多久時間？

    已完成
    第 1 次嘗試 · 已完成 32114ms

    載入詳情中…
  • 案例 DCFD4C84

    隱形眼鏡貼在什麼地方？

    已完成
    第 1 次嘗試 · 已完成 25265ms

    載入詳情中…
  • 案例 92AAEEE1

    請問鏡片的產地是哪裡呢？

    已完成
    第 1 次嘗試 · 已完成 42965ms

    載入詳情中…
  • 案例 2AA37127

    請問初次配眼鏡時需要攜帶處方籤嗎？

    已完成
    第 1 次嘗試 · 已完成 40732ms

    載入詳情中…