External reproduction program

不要相信圖表。親自重跑合約。

一條能由外部人士獨立操作的單一流程:重跑固定的 mem0 2.0.12 與 mem0 + Vault 治理測試,包含 blinded provider input、五個 fresh stores、環境證據及 fail-closed 審查。

目前狀態

協議已公開;外部證據仍在等待中。

目前尚未接受任何第三方獨立重跑。這一頁提供驗證基礎設施,不是假裝外部背書已經存在。受環境阻擋的嘗試使用獨立診斷紀錄,不會進入 submission 數量。

Kit published

固定 mem0 track

Provider 2.0.12、六個公開 synthetic cases、top-1、candidate pool 4、五次連續重跑。

CI enforced

Fail-closed validation

檔案變造、漏列、路徑不安全、dirty source、虛假聲明或 release gate 失敗都會被拒絕。

0 accepted

第三方重跑

缺少的證據維持缺少;contract-valid 不等於 maintainer-reviewed 或 endorsed。

單一操作路徑

從乾淨 fork 到公開審查。

01 · 準備

乾淨隔離環境

Fork 固定 revision,安裝 pinned mem0 requirements。

02 · 執行

五次 blinded repeats

Provider process 只取得去除 gold labels 的輸入,每次使用新的 local store。

03 · 審查

Checksums 與歸屬

CI 驗證合約;maintainers 另外檢查來源、利益關係與偏差。

Preflight

先用機器可讀檢查,避免跑到一半才失敗。

python scripts/run_external_reproduction.py \
  --output-dir /tmp/vault-external-reproduction \
  --model-cache-dir ../vault-repro-model-cache \
  --preflight-only --json

一次檢查 clean source、外部 venv/output、固定套件、磁碟、記憶體、模型 cache 與 Hugging Face 連線。完整執行還會驗證不可變 Hub commit 與 snapshot tree digest,再讓五輪強制離線。exit 2 會列出所有 blocked checks;pass 只表示環境就緒。

主張邊界

Preflight pass

只代表環境符合執行條件,不是 benchmark 或第三方重跑結果。

Contract validated

才代表固定 synthetic retrieval-governance contract 在揭露環境中成功重現;仍不是普遍優越性、production scale 或端到端 QA。

證據階梯

Validation 與 endorsement 明確分開。

狀態意義可公開主張
Environment blocked網路、runtime、storage、memory 或平台限制阻止五次重跑僅為診斷,不做 reproduction 主張
Submitted存在公開 bundle URL尚無技術主張
Contract validatedDigests、protocol、attestations 與 gates 通過機器可驗證 bundle
Maintainer reviewed來源、利益關係與偏差已檢查經審查的重跑
Published external reproduction不可變更紀錄與 operator attribution 公開連結在揭露範圍內的獨立結果

成為第一位獨立 operator。

重跑公開合約、揭露環境,讓 artifacts 而不是 marketing copy 承擔證明責任。

開啟提交表單