不要相信圖表。親自重跑合約。
一條能由外部人士獨立操作的單一流程:重跑固定的 mem0 2.0.12 與 mem0 + Vault 治理測試,包含 blinded provider input、五個 fresh stores、環境證據及 fail-closed 審查。
協議已公開;外部證據仍在等待中。
目前尚未接受任何第三方獨立重跑。這一頁提供驗證基礎設施,不是假裝外部背書已經存在。受環境阻擋的嘗試使用獨立診斷紀錄,不會進入 submission 數量。
固定 mem0 track
Provider 2.0.12、六個公開 synthetic cases、top-1、candidate pool 4、五次連續重跑。
Fail-closed validation
檔案變造、漏列、路徑不安全、dirty source、虛假聲明或 release gate 失敗都會被拒絕。
第三方重跑
缺少的證據維持缺少;contract-valid 不等於 maintainer-reviewed 或 endorsed。
從乾淨 fork 到公開審查。
乾淨隔離環境
Fork 固定 revision,安裝 pinned mem0 requirements。
五次 blinded repeats
Provider process 只取得去除 gold labels 的輸入,每次使用新的 local store。
Checksums 與歸屬
CI 驗證合約;maintainers 另外檢查來源、利益關係與偏差。
完成 pinned setup 後,只需一個指令。
python scripts/run_external_reproduction.py \ --output-dir /tmp/vault-external-reproduction \ --github-handle YOUR_HANDLE \ --accept-public-attestation
若 source 不乾淨、provider 版本不同或任一 publication gate 失敗,runner 會停止,不產生可提交結果。
Pass 代表什麼
固定的 synthetic retrieval-governance contract 在揭露的環境中成功重現。
不代表什麼
不是身分驗證、普遍優越性、production scale、端到端 QA,也不是官方 LoCoMo/LongMemEval 分數。
Validation 與 endorsement 明確分開。
| 狀態 | 意義 | 可公開主張 |
|---|---|---|
| Environment blocked | 網路、runtime、storage、memory 或平台限制阻止五次重跑 | 僅為診斷,不做 reproduction 主張 |
| Submitted | 存在公開 bundle URL | 尚無技術主張 |
| Contract validated | Digests、protocol、attestations 與 gates 通過 | 機器可驗證 bundle |
| Maintainer reviewed | 來源、利益關係與偏差已檢查 | 經審查的重跑 |
| Published external reproduction | 不可變更紀錄與 operator attribution 公開連結 | 在揭露範圍內的獨立結果 |
成為第一位獨立 operator。
重跑公開合約、揭露環境,讓 artifacts 而不是 marketing copy 承擔證明責任。