357 條金融說法（程式生成 260、模型改寫 54、真實新聞 43），每條都由獨立腳本從 SEC 申報資料算出標準答案，並在任何模型跑之前先 commit。六個系統各判一次，共 2,142 個判決。下面可以看準確率怎麼算、各系統差在哪，也可以逐條打開看引用了哪份申報的哪個數字。
「一次回答」只把說法丟給模型，靠記憶作答。「Agent」讓模型呼叫 SEC 查詢工具並引用證據編號，但最後的判決由程式重算：它自己從原文解析數字、精度和比較詞，再拿 SEC 數字比對。
準確率 = 判決與標準答案一致的條數 ÷ 357；失敗或被預算擋下的都算錯。黑線是 Wilson 95% 信賴區間。「差距」是同一批題目上配對比較的結果（10,000 次 bootstrap）。
After two fixes · post-hoc rerun · 僅 Agent · v2 → rerun
| 執行方式 | 準確率 | 把錯的判成正確 |
|---|
這兩個修正是看到錯誤後才做的，所以這是回歸檢查，不是新的測試成績。準確率變化在誤差內；把錯的判成正確降到零。
Rerun report · 重跑報告每格是答對條數 / 題數。題型說明：近似值（約、大約）、不等式（超過、至少）、年增率、季度與全年或財年與曆年的陷阱、單位陷阱（百萬寫成十億）、多數字、首次或創紀錄、SEC 查不到的說法、財年曆年不明的「Q2 2024」。
左邊選一條說法。右邊會把原文中的數字標黃、期間標藍，列出六個系統的判決，並展開 Agent 的判斷步驟：原文數字、SEC 數字、容許誤差，以及決定判決的那一步。證據卡片連到 SEC 上的原始申報。
依標準答案統計，與驗證系統無關。單一網站樣本少於 20 條時不公開該站數字，只按來源類型合併。目前樣本仍小，區間很寬。
標準答案在任何 v2 模型跑之前就 commit（5d90b3b）。評測後發現 2 條 Amazon 答案錯誤（把 10-Q 的近 12 個月數字當年度），已另存修正版並保留原登記版報告；各系統差距最多 2 條。
模型不知道 2025–2026 年的財報數字，大多老實回答「證據不足」。Meta API 版本比較會猜，在 186 條非屬實說法中有 9 條誤判為屬實。
為了版權，真實新聞只存改寫後的一句話（不超過 25 字）與連結，不存原文段落。數字對照的「段落」是 SEC 申報中的 XBRL 事實：概念名稱、期間、表單與申報編號。
「首次 / 創紀錄」類只對約一半；財年不明的「Q2 2024」Meta Agent 有時只查財年那種讀法。上方的事後重跑另列修正後結果，這裡的主圖與六個系統判決仍是 v2。