執行 #143

JINS AI 小幫手 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 11:49
耗時
230.1s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2170
Total Bot Cost · USD
63.7%
Prompt Cache Hit
cost per case
$0.0072
cost per 1k tokens
$0.0012
input tokens
171,817
output tokens
4,689
cached tokens — prompt-cache hit
109,440
Total Tokens
176,506
economic efficiency
cost per correct
$0.0015
pass rate
83.3%
25 / 30
judge cost
$0.0367
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • c8e10539-4306-4add-93bb-244a948aaa44 62 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:5f8f6f3b Tools: sha256:13e5aa51 Scenarios: sha256:044b296d AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
2883 ms
Bot 成本（Neptune）
$0.2170
Bot Tokens（Neptune）
176,506
Judge 成本（Eris）
$0.0367
Judge Tokens（Eris）
269,231
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 14.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
99.0%
[97.3% – 100.0%] · n=10
10 / 10 適用
  • 案例 4EA15831

    線上購物可以用超商條碼支付嗎

    已完成
    第 1 次嘗試 · 已完成 10859ms

    載入詳情中…
  • 案例 2309FE5F

    樹脂鏡片是安全鏡片嗎?

    已完成
    第 1 次嘗試 · 已完成 14038ms

    載入詳情中…
  • 案例 C8A3F07C

    舊眼鏡的度數可以配鏡嗎?

    已完成
    第 1 次嘗試 · 已完成 11740ms

    載入詳情中…
  • 案例 0B663B34

    保固書遺失可以補發嗎

    已完成
    第 1 次嘗試 · 已完成 11588ms

    載入詳情中…
  • 案例 909EB5F1

    會員專屬福利包括什麼?

    已完成
    第 1 次嘗試 · 已完成 12980ms

    載入詳情中…
  • 案例 545C465C

    鏡片有防潑水功能嗎？

    已完成
    第 1 次嘗試 · 已完成 11043ms

    載入詳情中…
  • 案例 057F0653

    JINS的鏡框價格包含什麼？

    已完成
    第 1 次嘗試 · 已完成 21441ms

    載入詳情中…
  • 案例 E5E8815A

    線上訂老花配鏡需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 9839ms

    載入詳情中…
  • 案例 C1C0BFA0

    請問網路商城可以單售鏡框嗎?

    已完成
    第 1 次嘗試 · 已完成 10778ms

    載入詳情中…
  • 案例 AE2E7CE4

    會員等級的資訊在哪裡查？

    已完成
    第 1 次嘗試 · 已完成 7787ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位 平均
answer_quality
69.0%
[52.0% – 84.3%] · n=10
10 / 10 適用
  • 案例 6225AEF1

    這個產品怎麼用?

    已完成
    第 1 次嘗試 · 已完成 11407ms

    載入詳情中…
  • 案例 72C00B30

    保養需要注意什麼嗎？

    已完成
    第 1 次嘗試 · 已完成 13987ms

    載入詳情中…
  • 案例 4C8ED548

    什麼時候可以查詢產品資訊?

    已完成
    第 1 次嘗試 · 已完成 13674ms

    載入詳情中…
  • 案例 1AC0C6B9

    請問你們的退貨政策是什麼呢？

    已完成
    第 1 次嘗試 · 已完成 19351ms

    載入詳情中…
  • 案例 4480FB99

    可以查詢最近的門市位置嗎?

    已完成
    第 1 次嘗試 · 已完成 15621ms

    載入詳情中…
  • 案例 083B609C

    請問這款髮片的保養方式是什麼？使用期限大概多久呢？

    已完成
    第 1 次嘗試 · 已完成 9483ms

    載入詳情中…
  • 案例 3034E215

    產品維護保養要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 15658ms

    載入詳情中…
  • 案例 E2B15BD9

    我可以查詢一下你們的產品嗎?

    已完成
    第 1 次嘗試 · 已完成 14049ms

    載入詳情中…
  • 案例 FAAD10A3

    問知識查詢的問題可以問什麼呢?

    已完成
    第 1 次嘗試 · 已完成 26557ms

    載入詳情中…
  • 案例 A5702204

    你們的商品如何退貨退款?

    已完成
    第 1 次嘗試 · 已完成 15248ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 21.3% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
90.0%
[70.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
86.3%
[70.3% – 98.0%] · n=10
10 / 10 適用
  • 案例 14035BB2

    百貨公司停車券提供規定是什麼?

    已完成
    第 1 次嘗試 · 已完成 11602ms

    載入詳情中…
  • 案例 D78D18AA

    get_history 加 trace 會怎樣

    已完成
    第 1 次嘗試 · 已完成 11703ms

    載入詳情中…
  • 案例 455068C0

    什麼情況會轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 14121ms

    載入詳情中…
  • 案例 D517866C

    加入會員可以享有什麼優惠？

    已完成
    第 1 次嘗試 · 已完成 20811ms

    載入詳情中…
  • 案例 35F50DB1

    請問功能性鏡片需要另外加價購買嗎？

    已完成
    第 1 次嘗試 · 已完成 15990ms

    載入詳情中…
  • 案例 CF00E61B

    眼鏡的免費更換怎麼算？

    已完成
    第 1 次嘗試 · 已完成 19268ms

    載入詳情中…
  • 案例 6728D87C

    配鏡一般需要多久時間？

    已完成
    第 1 次嘗試 · 已完成 11898ms

    載入詳情中…
  • 案例 DCFD4C84

    隱形眼鏡貼在什麼地方？

    已完成
    第 1 次嘗試 · 已完成 9084ms

    載入詳情中…
  • 案例 92AAEEE1

    請問鏡片的產地是哪裡呢？

    已完成
    第 1 次嘗試 · 已完成 8983ms

    載入詳情中…
  • 案例 2AA37127

    請問初次配眼鏡時需要攜帶處方籤嗎？

    已完成
    第 1 次嘗試 · 已完成 12569ms

    載入詳情中…