External reproduction program

不要相信圖表。親自重跑合約。

一條能由外部人士獨立操作的單一流程:重跑固定的 mem0 2.0.12 與 mem0 + Vault 治理測試,包含 blinded provider input、五個 fresh stores、環境證據及 fail-closed 審查。

目前狀態

協議已公開;外部證據仍在等待中。

目前尚未接受任何第三方獨立重跑。這一頁提供驗證基礎設施,不是假裝外部背書已經存在。受環境阻擋的嘗試使用獨立診斷紀錄,不會進入 submission 數量。

Kit published

固定 mem0 track

Provider 2.0.12、六個公開 synthetic cases、top-1、candidate pool 4、五次連續重跑。

CI enforced

Fail-closed validation

檔案變造、漏列、路徑不安全、dirty source、虛假聲明或 release gate 失敗都會被拒絕。

0 accepted

第三方重跑

缺少的證據維持缺少;contract-valid 不等於 maintainer-reviewed 或 endorsed。

單一操作路徑

從乾淨 fork 到公開審查。

01 · 準備

乾淨隔離環境

Fork 固定 revision,安裝 pinned mem0 requirements。

02 · 執行

五次 blinded repeats

Provider process 只取得去除 gold labels 的輸入,每次使用新的 local store。

03 · 審查

Checksums 與歸屬

CI 驗證合約;maintainers 另外檢查來源、利益關係與偏差。

執行

完成 pinned setup 後,只需一個指令。

python scripts/run_external_reproduction.py \
  --output-dir /tmp/vault-external-reproduction \
  --github-handle YOUR_HANDLE \
  --accept-public-attestation

若 source 不乾淨、provider 版本不同或任一 publication gate 失敗,runner 會停止,不產生可提交結果。

主張邊界

Pass 代表什麼

固定的 synthetic retrieval-governance contract 在揭露的環境中成功重現。

不代表什麼

不是身分驗證、普遍優越性、production scale、端到端 QA,也不是官方 LoCoMo/LongMemEval 分數。

證據階梯

Validation 與 endorsement 明確分開。

狀態意義可公開主張
Environment blocked網路、runtime、storage、memory 或平台限制阻止五次重跑僅為診斷,不做 reproduction 主張
Submitted存在公開 bundle URL尚無技術主張
Contract validatedDigests、protocol、attestations 與 gates 通過機器可驗證 bundle
Maintainer reviewed來源、利益關係與偏差已檢查經審查的重跑
Published external reproduction不可變更紀錄與 operator attribution 公開連結在揭露範圍內的獨立結果

成為第一位獨立 operator。

重跑公開合約、揭露環境,讓 artifacts 而不是 marketing copy 承擔證明責任。

開啟提交表單