Reproduce
原樣重跑
使用 frozen mem0 2.0.12 track、blinded input、五個 fresh stores 與固定模型資產。
- 不修改 protocol
- 提交完整 bundle
- 適合第一位外部 operator
Founding 10 · applications open
不要替我們背書。來重跑，或來攻破它。
最多十位獨立 operator，每位從確認加入後有 14 天。你可以原樣重現、尋找協議漏洞，或帶自己的記憶引擎比較 A 與 A + Vault。正面、負面、受阻結果都會被保留。
10 operators max小型 founding cohort
14 days each確認加入後開始
Outcome-neutral獎勵證據，不獎勵好評
Open目前接受申請
Public by default計畫、偏差與結果可審查
4 result statesValidated · Rejected · Blocked · Protocol issue
No cash promise首輪為署名與 contributor recognition
選一條路線
門檻小，但證據不能含糊。
第一次參與建議選 Reproduce。熟悉 evaluation 或 memory framework 的開發者，可以從 Break It 或 Bring Your Memory 開始。
Break It
找出不能相信的地方
檢查安裝、隔離、checksum、claim boundary、偏差或無法重現條件。
- 失敗也是有效結果
- 最小重現或 redacted log
- 官方修正後保留原紀錄
Bring Your Memory
比較 A 與 A + Vault
帶 mem0、Letta、AgentMemory、RAG 或自有引擎，固定其他條件後測量治理增量。
- 同模型、資料與 queries
- 公開 deviations
- 不做 vanity leaderboard
共同計分板
Recall 只是其中一格。
Vault 的產品主張是 memory foundation；因此也必須測量不該被召回的記憶是否真的被阻擋。
Valid Recall@k有效記憶召回
Forbidden exposure無效或無權記憶暴露
Expiry leakage過期記憶洩漏
Citation correctness來源是否對得上
Repeat stability多輪一致性
Latency + cost時間與資源代價
四步完成
從申請到公開紀錄。
登記路線
開啟 GitHub 表單，選擇 track、provider、預計環境並揭露利益關係。
確認 14 天窗口
Maintainer 在 issue 中確認名額與開始日；未確認前不算 cohort operator。
執行並保留原始證據
先跑 preflight，再保存 machine-readable artifacts、版本、commit SHA、deviations 與 redacted logs。
提交任何真實結果
Validated、Rejected、Environment blocked 或 Protocol issue found 都能結案；不把缺失資料填成零。
Founding 10 現在接受申請。
沒有現金獎金承諾；首輪回報是公開署名、永久結果連結與 contributor recognition。評選只看可重現性與證據品質，不看結果是否有利 Vault。