執行 #273

nu9 AI 小幫手 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面
狀態
執行中
案例
9
開始時間
16 May 12:52
耗時
—
¶ Economics · Bot-side N=8 attempts

Cost & Tokens

$0.0384
Total Bot Cost · USD
82.8%
Prompt Cache Hit
cost per case
$0.0048
cost per 1k tokens
$0.0010
input tokens
37,266
output tokens
1,271
cached tokens — prompt-cache hit
30,848
Total Tokens
38,537
economic efficiency
cost per correct
$0.0011
pass rate
87.5%
7 / 8
judge cost
$0.0075
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • c177e40e-8e60-42a0-bf90-472ad1969cdb 18 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:cea3862d Tools: sha256:6209df4f Scenarios: sha256:6b9df7d7 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
8 / 9
錯誤
0
失敗維度
2
首字延遲 p95
2488 ms
Bot 成本（Neptune）
$0.0384
Bot Tokens（Neptune）
38,537
Judge 成本（Eris）
$0.0075
Judge Tokens（Eris）
57,708
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=5
F1 33.3% · 相關率 28.0% · 精確 20.0%
5 / 5 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=5
5 / 5 適用
答得到位 平均
answer_quality
96.7%
[91.3% – 100.0%] · n=5
5 / 5 適用
  • 案例 010E1030

    請問呼叫小編服務後要多久才會聯絡我?

    已完成
    第 1 次嘗試 · 已完成 13693ms

    載入詳情中…
  • 案例 2370ADE5

    平口或桃心領婚紗適合搭配什麼內衣?

    pending

    等候 orchestrator 處理此案例…

  • 案例 88A14E99

    升級為VIP會員後優惠是什麼

    已完成
    第 1 次嘗試 · 已完成 15756ms

    載入詳情中…
  • 案例 2D453010

    運動系列預購商品下單後幾天出貨?

    已完成
    第 1 次嘗試 · 已完成 10221ms

    載入詳情中…
  • 案例 4D5527A3

    這個隱形胸托是獨家的嗎

    已完成
    第 1 次嘗試 · 已完成 16468ms

    載入詳情中…
  • 案例 3AD70BE7

    上下胸圍差 18–20 cm 對應的罩杯是什麼?

    已完成
    第 1 次嘗試 · 已完成 16331ms

    載入詳情中…
  • 案例 7DC334C6

    NuBra 是用什麼材質的?

    pending

    等候 orchestrator 處理此案例…

  • 案例 692272C4

    nu9 是什麼品牌？

    pending

    等候 orchestrator 處理此案例…

  • 案例 244777EE

    加入nu9會員可以獲得多少首購禮?

    pending

    等候 orchestrator 處理此案例…

  • 案例 9EB1B23A

    請問我可以私訊預約試穿嗎？

    pending

    等候 orchestrator 處理此案例…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
F1 100.0% · 召回 100.0% · 精確 100.0%
2 / 2 適用
用對工具 召回
tool_usage
100.0%
F1 100.0% · 召回 100.0% · 精確 100.0%
2 / 2 適用
答得到位 平均
answer_quality
26.7%
2 / 2 適用
  • 案例 1FC0A104

    你們的官網和社群媒體資訊是什麼？

    pending

    等候 orchestrator 處理此案例…

  • 案例 E2BF86C4

    請問貴公司的營業時間是什麼時候？

    已完成
    第 1 次嘗試 · 已完成 11571ms

    載入詳情中…
  • 案例 FBA47660

    內衣尺寸怎麼選？

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…
  • 案例 05C230BB

    我想查詢訂單，但找不到相關資料，該怎麼辦？

    pending

    等候 orchestrator 處理此案例…

  • 案例 EC2FFE28

    查詢訂單要提供什麼資訊啊？

    pending

    等候 orchestrator 處理此案例…

  • 案例 8D9F10C8

    請問下圍的測量單位可以是公分或英吋嗎？

    pending

    等候 orchestrator 處理此案例…

  • 案例 136CEEF9

    選擇NuBra尺寸需要怎麼測量？

    pending

    等候 orchestrator 處理此案例…

  • 案例 43735B10

    我最近體重變化了，內衣尺寸會不會需要重新測量？

    pending

    等候 orchestrator 處理此案例…

  • 案例 F2674303

    我想知道內衣尺寸怎麼選，哪裡可以查對照表？

    pending

    等候 orchestrator 處理此案例…

  • 案例 182FEC83

    我的訂單編號是ABC123，請幫我查詢一下。

    pending

    等候 orchestrator 處理此案例…

項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
F1 33.3% · 相關率 20.0% · 精確 20.0%
1 / 2 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=2
2 / 2 適用
答得到位 平均
answer_quality
96.7%
[93.3% – 100.0%] · n=2
2 / 2 適用
  • 案例 E4813072

    實體專櫃有什麼商品啊

    pending

    等候 orchestrator 處理此案例…

  • 案例 CFD3D00F

    內衣尺寸要怎麼選啊

    已完成
    第 1 次嘗試 · 已完成 16169ms

    載入詳情中…
  • 案例 CDAA83EE

    運動系列下單後幾天出貨？

    已完成
    第 1 次嘗試 · 已完成 9979ms

    載入詳情中…
  • 案例 49B0FAEB

    請問矽膠款式內衣適合哪種婚紗穿搭？

    pending

    等候 orchestrator 處理此案例…

  • 案例 F711D101

    nu9絕世好波這個品牌是怎麼來的?

    pending

    等候 orchestrator 處理此案例…

  • 案例 2AAB6F45

    你們有什麼運送選擇嗎？

    pending

    等候 orchestrator 處理此案例…

  • 案例 FF358877

    nu9品牌的故事是什麼？

    pending

    等候 orchestrator 處理此案例…

  • 案例 85C7F613

    NuBra 是什麼材質做的啊？

    pending

    等候 orchestrator 處理此案例…

  • 案例 AC5B28AA

    最近有聽說詐騙問題，這邊有做什麼防範嗎?

    pending

    等候 orchestrator 處理此案例…

  • 案例 77DE7311

    E、F、G尺碼的隱形內衣可以穿露肩服裝嗎?

    pending

    等候 orchestrator 處理此案例…