執行 #197

Outo AI 小幫手 (bulk R1) → production-baseline

狀態
已完成
案例
30
開始時間
16 May 12:12
耗時
1095.8s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.5259
Total Bot Cost · USD
36.9%
Prompt Cache Hit
cost per case
$0.0175
cost per 1k tokens
$0.0016
input tokens
312,049
output tokens
9,302
cached tokens — prompt-cache hit
115,072
Total Tokens
321,351
economic efficiency
cost per correct
$0.0015
pass rate
80.0%
24 / 30
judge cost
$0.0356
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 5ac7565b-b9a4-4e58-b7f3-9dd6c5019375 42 筆 KB
    SystemPrompt: sha256:e4a7be06 KBContent: sha256:5a4bd1d2 Tools: sha256:c96f4afb Scenarios: sha256:37cda5ce AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
8
首字延遲 p95
3155 ms
Bot 成本(Neptune)
$0.5259
Bot Tokens(Neptune)
321,351
Judge 成本(Eris)
$0.0356
Judge Tokens(Eris)
256,816
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 26.3% · 精確 28.0%
10 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
95.7%
[92.7% – 98.7%] · n=10
10 / 10 適用
  • 案例 09063A8A

    如果行程取消,費用超過退費標準怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 79101ms

    載入詳情中…

  • 案例 7F243DC3

    遇到颱風時班機會取消嗎?

    已完成
    第 1 次嘗試 · 已完成 17339ms

    載入詳情中…

  • 案例 D40B328C

    會安漁村捕魚跟烤肉有什麼活動?

    已完成
    第 1 次嘗試 · 已完成 47471ms

    載入詳情中…

  • 案例 D9310C9A

    2026 年泰國潑水節是幾月幾號?

    已完成
    第 1 次嘗試 · 已完成 34228ms

    載入詳情中…

  • 案例 AF990D38

    會安古城美食手作的行程有包含稅簽網卡嗎

    已完成
    第 1 次嘗試 · 已完成 30467ms

    載入詳情中…

  • 案例 4C6869FA

    旅遊費用不包含小費嗎

    已完成
    第 1 次嘗試 · 已完成 19799ms

    載入詳情中…

  • 案例 C92DE50D

    富國島鬆玩全島 5 日行程包含什麼呢?

    已完成
    第 1 次嘗試 · 已完成 33656ms

    載入詳情中…

  • 案例 38EBD161

    請問出發日前 31-40 天取消行程退還多少?

    已完成
    第 1 次嘗試 · 已完成 15629ms

    載入詳情中…

  • 案例 82436E04

    清邁包車漫遊的價格有包含稅金嗎

    已完成
    第 1 次嘗試 · 已完成 25372ms

    載入詳情中…

  • 案例 2A78EF6D

    Outo 的旅遊費用包含機場與旅館間接送費嗎?

    已完成
    第 1 次嘗試 · 已完成 20116ms

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
70.0%
[40.0% – 100.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 70.0%
10 / 10 適用
用對工具 召回
tool_usage
62.5%
[25.0% – 87.5%] · n=8
F1 67.5% · 召回 65.6% · 精確 100.0%
8 / 10 適用
答得到位 平均
answer_quality
67.0%
[51.7% – 80.7%] · n=10
10 / 10 適用
  • 案例 8651E963

    越南簽證需要多少時間處理?

    已完成
    第 1 次嘗試 · 已完成 26926ms

    載入詳情中…

  • 案例 97C385ED

    我想要去北越旅遊,請問需要提供什麼資訊嗎?

    已完成
    第 1 次嘗試 · 已完成 14559ms

    載入詳情中…

  • 案例 295F4649

    越南簽證怎麼申請?

    已完成
    第 1 次嘗試 · 已完成 34687ms

    載入詳情中…

  • 案例 06438881

    我計畫去旅遊超過 7 天,要怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 22315ms

    載入詳情中…

  • 案例 BE90053E

    最近有什麼活動或優惠嗎?

    已完成
    第 1 次嘗試 · 已完成 21337ms

    載入詳情中…

  • 案例 8C035FD3

    如果我需要的服務天數超過七天,會怎麼處理呢?

    已完成
    第 1 次嘗試 · 已完成 23325ms

    載入詳情中…

  • 案例 7CAA5916

    查詢一下,短於10個字的查詢會有什麼結果?

    已完成
    第 1 次嘗試 · 已完成 17799ms

    載入詳情中…

  • 案例 565A49CE

    想請教一下,貴公司有什麼關於越南簽證的資訊和代辦服務嗎?

    已完成
    第 1 次嘗試 · 已完成 32104ms

    載入詳情中…

  • 案例 E39BD6B8

    我需要的服務超過七天,轉接真人客服前要填什麼基本資料?

    已完成
    第 1 次嘗試 · 已完成 17462ms

    載入詳情中…

  • 案例 CBDC1B7C

    我想要出國旅遊,大概會待 10 天,有什麼建議嗎?

    已完成
    第 1 次嘗試 · 已完成 20544ms

    載入詳情中…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
77.8%
[44.4% – 100.0%] · n=9
F1 25.9% · 相關率 21.4% · 精確 26.7%
9 / 10 適用 · 3 提示
不亂編造 平均
faithfulness
92.6%
[77.8% – 100.0%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
92.7%
[81.0% – 100.0%] · n=10
10 / 10 適用
  • 案例 54CEBFEF

    Outo 目前有哪些據點呢?

    已完成
    第 1 次嘗試 · 已完成 67448ms

    載入詳情中…

  • 案例 EBCE39FB

    北越邊境公路 5 日冒險有提供簽網卡嗎

    已完成
    第 1 次嘗試 · 已完成 24161ms

    載入詳情中…

  • 案例 D7F63616

    為什麼出發和回程的天數超過 7 天時要轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 20434ms

    載入詳情中…

  • 案例 F9D8A445

    如果出發前 41 天通知,違約金是多少?

    已完成
    第 1 次嘗試 · 已完成 22536ms

    載入詳情中…

  • 案例 7323E521

    請問 Outo 的團隊據點在哪裡?

    已完成
    第 1 次嘗試 · 已完成 19067ms

    載入詳情中…

  • 案例 E65B137A

    請問這個旅程有提供越式按摩服務嗎?

    已完成
    第 1 次嘗試 · 已完成 27176ms

    載入詳情中…

  • 案例 57B07151

    Outo 旅程最少要幾個人出發?

    已完成
    第 1 次嘗試 · 已完成 15911ms

    載入詳情中…

  • 案例 316D2D20

    線上產品報名後可以退款嗎?

    已完成
    第 1 次嘗試 · 已完成 21916ms

    載入詳情中…

  • 案例 3FF0E71A

    會安古城漁村冒險的旅程包含什麼嗎?

    已完成
    第 1 次嘗試 · 已完成 32287ms

    載入詳情中…

  • 案例 7A0E6879

    2026 年開齋節是幾月幾號?

    已完成
    第 1 次嘗試 · 已完成 19947ms

    載入詳情中…