不要相信圖表。親自重跑合約。
一條能由外部人士獨立操作的單一流程:重跑固定的 mem0 2.0.12 與 mem0 + Vault 治理測試,包含 blinded provider input、五個 fresh stores、環境證據及 fail-closed 審查。
協議已公開;外部證據仍在等待中。
目前尚未接受任何第三方獨立重跑。這一頁提供驗證基礎設施,不是假裝外部背書已經存在。受環境阻擋的嘗試使用獨立診斷紀錄,不會進入 submission 數量。
固定 mem0 track
Provider 2.0.12、六個公開 synthetic cases、top-1、candidate pool 4、五次連續重跑。
Fail-closed validation
檔案變造、漏列、路徑不安全、dirty source、虛假聲明或 release gate 失敗都會被拒絕。
第三方重跑
缺少的證據維持缺少;contract-valid 不等於 maintainer-reviewed 或 endorsed。
從乾淨 fork 到公開審查。
乾淨隔離環境
Fork 固定 revision,安裝 pinned mem0 requirements。
五次 blinded repeats
Provider process 只取得去除 gold labels 的輸入,每次使用新的 local store。
Checksums 與歸屬
CI 驗證合約;maintainers 另外檢查來源、利益關係與偏差。
先用機器可讀檢查,避免跑到一半才失敗。
python scripts/run_external_reproduction.py \ --output-dir /tmp/vault-external-reproduction \ --model-cache-dir ../vault-repro-model-cache \ --preflight-only --json
一次檢查 clean source、外部 venv/output、固定套件、磁碟、記憶體、模型 cache 與 Hugging Face 連線。完整執行還會驗證不可變 Hub commit 與 snapshot tree digest,再讓五輪強制離線。exit 2 會列出所有 blocked checks;pass 只表示環境就緒。
Preflight pass
只代表環境符合執行條件,不是 benchmark 或第三方重跑結果。
Contract validated
才代表固定 synthetic retrieval-governance contract 在揭露環境中成功重現;仍不是普遍優越性、production scale 或端到端 QA。
Validation 與 endorsement 明確分開。
| 狀態 | 意義 | 可公開主張 |
|---|---|---|
| Environment blocked | 網路、runtime、storage、memory 或平台限制阻止五次重跑 | 僅為診斷,不做 reproduction 主張 |
| Submitted | 存在公開 bundle URL | 尚無技術主張 |
| Contract validated | Digests、protocol、attestations 與 gates 通過 | 機器可驗證 bundle |
| Maintainer reviewed | 來源、利益關係與偏差已檢查 | 經審查的重跑 |
| Published external reproduction | 不可變更紀錄與 operator attribution 公開連結 | 在揭露範圍內的獨立結果 |
成為第一位獨立 operator。
重跑公開合約、揭露環境,讓 artifacts 而不是 marketing copy 承擔證明責任。