執行 #96

CYBERBIZ:AI 數位增長顧問 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面
狀態
執行中
案例
16
開始時間
16 May 11:27
耗時
¶ Economics · Bot-side N=12 attempts

Cost & Tokens

$0.0905
Total Bot Cost · USD
87.3%
Prompt Cache Hit
cost per case
$0.0075
cost per 1k tokens
$0.0009
input tokens
96,294
output tokens
3,009
cached tokens — prompt-cache hit
84,096
Total Tokens
99,303
economic efficiency
cost per correct
$0.0012
pass rate
83.3%
10 / 12
judge cost
$0.0125
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 79448e28-fd8d-4d9c-816b-d72736034948 12 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:f888d953 Tools: sha256:13e5aa51 Scenarios: sha256:de47559b AI: gpt-4.1-2025-04-14 (T=0.0, max=32768)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
12 / 16
錯誤
0
失敗維度
0
首字延遲 p95
4997 ms
Bot 成本(Neptune)
$0.0905
Bot Tokens(Neptune)
99,303
Judge 成本(Eris)
$0.0125
Judge Tokens(Eris)
94,982
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=5
F1 18.2% · 相關率 16.0% · 精確 10.0%
6 / 6 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=5
6 / 6 適用
答得到位 平均
answer_quality
98.0%
[94.0% – 100.0%] · n=5
6 / 6 適用
  • 案例 D7BAE0EF

    有沒有成功客戶案例可以看?

    已完成
    第 1 次嘗試 · 已完成 37192ms

    載入詳情中…

  • 案例 8AFC7A20

    你們有哪幾種金流服務?

    已完成
    第 1 次嘗試 · 已完成 38098ms

    載入詳情中…

  • 案例 582180B4

    各方案的差異是什麼?

    pending

    等候 orchestrator 處理此案例…

  • 案例 73C7946A

    進階版和高手版有訂單抽成嗎

    已完成
    第 1 次嘗試 · 已完成 27118ms

    載入詳情中…

  • 案例 9C978CCE

    請問目前有提供免費試用方案嗎?

    已完成
    第 1 次嘗試 · 已完成 32957ms

    載入詳情中…

  • 案例 5A1CB2EB

    網站建置服務的名稱是什麼?

    已完成
    第 1 次嘗試 · 已完成 35934ms

    載入詳情中…

  • 案例 7168AB55

    你們有合作外部網站設計的夥伴嗎

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…

  • 案例 F86119A9

    請問企業版的方案費用是多少?

    pending

    等候 orchestrator 處理此案例…

  • 案例 47FB299A

    高手版一年費用多少?

    pending

    等候 orchestrator 處理此案例…

  • 案例 66A67223

    請問金流手續費是多少呢?

    pending

    等候 orchestrator 處理此案例…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
50.0%
[0.0% – 100.0%] · n=2
F1 50.0% · 召回 50.0% · 精確 50.0%
3 / 3 適用
用對工具 召回
tool_usage
100.0%
F1 100.0% · 召回 100.0% · 精確 100.0%
1 / 3 適用
答得到位 平均
answer_quality
75.0%
[60.0% – 90.0%] · n=2
3 / 3 適用
  • 案例 E670FCF6

    金流手續費是多少?

    已完成
    第 1 次嘗試 · 已完成 30971ms

    載入詳情中…

  • 案例 70B6A5B6

    如果我提供了公司名稱、姓名、手機號碼和Email,會有什麼後續回應?

    已完成
    第 1 次嘗試 · 已完成 32066ms

    載入詳情中…

  • 案例 CEC4FCBB

    請問如果我提供了個人資料,會有什麼後續的處理嗎?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…

  • 案例 8D5DCF6E

    想請教一下,關於同步庫存,使用者最常遇到哪些困擾呢?例如:超賣的問題或人工對帳的時間過長?

    pending

    等候 orchestrator 處理此案例…

  • 案例 0813E62A

    請問這個產品的維護保養要怎麼做呢?包括清潔和壽命的部分。

    pending

    等候 orchestrator 處理此案例…

  • 案例 88877440

    如果我想開網店,有沒有什麼可以幫助我的功能?

    pending

    等候 orchestrator 處理此案例…

  • 案例 A522D52C

    我最近在考慮開網店,想知道你們的金流選擇有哪些?

    pending

    等候 orchestrator 處理此案例…

  • 案例 29544814

    如果我想要了解怎麼開一家網店,你們可以提供什麼幫助嗎?

    pending

    等候 orchestrator 處理此案例…

  • 案例 603C6353

    請問如果我有需求關於串接POS系統,該怎麼做呢?

    pending

    等候 orchestrator 處理此案例…

  • 案例 41246140

    想開網店,怎麼提供我的資料?

    pending

    等候 orchestrator 處理此案例…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=3
F1 18.2% · 相關率 26.7% · 精確 10.0%
5 / 7 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=4
7 / 7 適用
答得到位 平均
answer_quality
83.3%
[61.3% – 98.0%] · n=5
7 / 7 適用
  • 案例 77B742E3

    有什麼開店方案?

    已完成
    第 1 次嘗試 · 已完成 38001ms

    載入詳情中…

  • 案例 9AAD258C

    我想要轉接人類客服,怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 16602ms

    載入詳情中…

  • 案例 5FAEBB57

    你們的系統可以同步庫存嗎?

    已完成
    第 1 次嘗試 · 已完成 32772ms

    載入詳情中…

  • 案例 44BE4069

    請問進階版和高手版方案有訂單抽成嗎?

    已完成
    第 1 次嘗試 · 已完成 31220ms

    載入詳情中…

  • 案例 AF023F59

    免費試用方案多少天?

    已完成
    第 1 次嘗試 · 已完成 34259ms

    載入詳情中…

  • 案例 7A8925E8

    網站建置服務的名稱是什麼?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…

  • 案例 B03F2E6D

    請問 CYBERBIZ 的會員資料在門市和線上同步嗎?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…

  • 案例 DBEE20BC

    CYBERBIZ PAYMENT 支援哪些信用卡?

    pending

    等候 orchestrator 處理此案例…

  • 案例 A41A5DFE

    進階版的年費用是多少?

    pending

    等候 orchestrator 處理此案例…

  • 案例 92F69E17

    我想開網店,流程和費用是什麼?

    pending

    等候 orchestrator 處理此案例…