先固定問題、隔離答案，再公開限制。
這套 harness 的目的，是避免網站上的主張比證據更強。
每個 track 只回答一個受控問題。
本次發布測量治理層能否移除無效暴露，同時不阻擋有效證據。
6 cases
公開 synthetic governance fixture。
12 documents
同時包含有效與刻意無效狀態。
Top-1 / K=4
Provider 返回四個候選，scorer 評估 top-1。
5 repeats
不同 clean-state processes 連續執行。
Provider retrieval 保持原生 provider retrieval。
Blinded provider input
Provider 只收到去除 policy labels 的文件與 query；完整 evaluation fixture 留在 policy replay 與 scorer。
Paired comparison
同一批排序候選同時進入 baseline 與 governed arms；Vault 不暗中替換 provider。
Clean-state identity
每次 repeat 使用不同 store 或 namespace，確認 indexing 完成並將 execution evidence 綁定 raw run。
誠實處理 missing data
未取得的 provider cost 與未測量的 integration 保持 unavailable，絕不顯示成零。
任何條件失敗，headline 就 fail closed。
| Gate | 目的 | 公開 bundle |
|---|---|---|
| Checksums 與 unique artifacts | 偵測修改或重複使用 | Passed |
| Clean source chain | 結果綁定 committed benchmark code | Passed |
| Blinded provider input | 避免 retrieval 取得 gold labels | Passed |
| Provider integrity | 確認 native retrieval 實際執行 | Passed |
| 五次不同 clean-state repeats | 檢驗 deterministic reproducibility | Passed |
| Zero indexing failures | 不評分不完整 corpus | Passed |
一個指令檢查全部 36 個證據檔案。
python scripts/verify_publication_bundle.py \ benchmarks/results/vaultgovbench-retrieval-v0.1/89b9156
檔案被修改、未列入 checksum、路徑不安全、index 無效或 summary 不可發布時，驗證器都會 fail closed。通過代表 artifact 完整，不代表第三方已獨立重跑 provider。
fixture sha256:
017c0629a561…c3b0b5f
source revision:
89b9156f501b…eb159246b4b1db
從驗證過的證據產生網站資料。
python scripts/build_benchmark_site_data.py python tests/test_benchmark_site.py
這份證據還不能證明什麼。
不是端到端 QA
測量 retrieval governance，不是最終答案或 Agent 任務成功率。
不是普遍性主張
一個正式外部 provider 不代表所有記憶引擎都會改善。
不是 production scale
六案例與十二 documents 尚未測量大型 corpus 或多 Agent contention。
從 contract proof 走向 category proof。
正式 AgentMemory 與 Letta publication、neutral LoCoMo/LongMemEval、規模曲線、多 Agent concurrent operations、failure injection、native extraction 成本與第三方重現。