Digital Drosophila Archive
5.7 KiB
2026-10-01 公开 LFS 资源发布
这是现有下载资源的归档发布，不是新的科学实验，不表示 Phase 4AR 已完成或学习通过。用户明确选择保留公开仓库，仅上传确认可公开再分发的资源。活动项目工作树和 Phase 1–4AQ 冻结文件不参与写入。
范围与许可
| 资源 | 许可/依据 | 本次处理 |
|---|---|---|
| MaleCNS v1.0 annotations、neurotransmitters、connectome、SWC、synaptic partners | 官方数据页明确指向 CC BY 4.0 | 逐文件原字节归档、署名、来源与 SHA-256 |
| 原有 Phase 3 / 3B processed 数据 | 基于上述 CC BY 4.0 数据的本项目派生物 | 保留原有过滤/重编号/CSR 转换说明；不重新计算、不更改科学含义 |
| Cell Type Explorer | 固定 commit 的 LICENSE，CC BY 4.0 | 原字节源码/数据快照，保留 LICENSE |
| visualpathways | 固定 commit 的 LICENSE 为 GPL v3 文本 | 原字节源码及 companion resources，保留 notices；不替上游判断 only/or-later |
| DoOR.data 2.0.1 | 固定 commit 的 DESCRIPTION：CC BY-SA 4.0 | 保留作者、原数据来源、ShareAlike 条件 |
| Shiu Drosophila_brain_model | 固定 commit 的 MIT LICENSE | 已下载作者模型源码与环境描述，不称预训练权重 |
每组精确来源、commit、许可证据 SHA 和修改说明见 plan.json 及资源 catalog.json；许可证原文随对应上游副本保留。MaleCNS 原数据署名：FlyEM/HHMI Janelia、University of Cambridge Department of Zoology、MRC Laboratory of Molecular Biology、Google Research 及原论文作者。归档封装不意味着这些机构认可本项目模型或结论。
DoOR 作者为 Daniel Münch、C. Giovanni Galizia、Shouwen Ma、Martin Strauch、Anja Nissler；DoOR 2.0 论文及原始 DoOR 论文只引用，不另外打包出版商全文。各第三方资源维持原许可，本项目没有给整个仓库强行统一换证。
明确不上传
- FlyVis：冻结 checkout 仅见 MIT classifier，缺独立 LICENSE；数据和预训练权重的再分发权未确认。实际盘点未发现独立下载的预训练 checkpoint/ZIP；不得把源码、几何坐标或功能通道桥接称为下载权重。
datasets/male-cns-v1.0/backups/的既有 Phase 1/2 备份包：保留原地；本次已直接归档其 raw 数据，不再重复上传整份备份。- Phase 4AD 重复的 Shiu 作者源码：本次仅归档 Phase 4AC 副本；既有目录及历史索引保留。
- 历史本项目 learned delta、当前 Phase 4AR 正在写入的结果/账本、虚拟环境、缓存、Git 内部目录、凭据、下载日志。
- ComfyUI 及其他项目、原始 EM 图像、未下载的 syn-points、许可不明的出版商论文全文。
- visualpathways 的
pdfversion/及docs/column_coord.pdf：已识别为作者图集/配套说明而非一般论文集合，但本次保守等待输出 PDF 的明确许可范围，不把生成程序的 GPL 自动视作所有输出的许可；源码和其余已明确仓库许可的资源仍保留。
未列入 plan 的目录默认不发布。额外路径剔除及环境/缓存规则的实际命中保存在各组 exclusions.jsonl.gz；文件内容未被改写或“脱敏后替代原件”。
存储及校验
归档位于 artifacts/public-resources-20261001/<group>/。每组为独立 tar+zstd，切成最多 64 MiB 的有序 LFS 分块，方便大文件传输中断后重试未完成对象。members.jsonl.gz 对每个原始相对路径记录大小和 SHA-256；catalog.json 记录每块及拼接归档 SHA、源总数、源字节数、来源和许可。分块改变的是存储容器，不是内部文件内容。
pack-summary.json 存在且 complete=true 仅表示本地打包完成，不等于上传/远程恢复成功。上传后使用独立 clone 和新的 LFS object store 实际下载，再逐块、逐归档、逐内部文件流式校验。对应 receipt 只有在真实校验完成后才会提交。
本次不是服务器所有内容的完整灾备。Gitea LFS 与 Git 仓库数据目录均需另有服务端备份；删除服务端 LFS 对象会破坏恢复能力。尚未核验 Gitea 主机磁盘容量和备份策略。
安全恢复（Linux 示例）
先安装 Git LFS、Python 3 和 zstd。只在新目录恢复，不要覆盖运行中的 /data/digital-drosophila。
GIT_LFS_SKIP_SMUDGE=1 git clone --branch codex/lfs-public-resources ssh://git@192.168.10.31:2222/qishizhe/digital-drosophila.git digital-drosophila-restore
cd digital-drosophila-restore
git lfs install --local
git lfs pull --include='artifacts/public-resources-20261001/**'
python3 -B tools/lfs-publication/publish_archives.py verify --group-dir artifacts/public-resources-20261001/malecns-swc
对每组运行 verify 并全部通过后，按 catalog 顺序拼接 payload-000000.bin 等文件，可用 zstd -d 和 tar 在新建的空恢复目录解包。归档路径从 datasets/ 或 experiments/ 起，无绝对路径。不要运行归档中模型/下载脚本来“验证”，本轮只验证内容。正式使用前仍需检查对应科学阶段 manifest；旧 all-body Phase 3 不能替代已批准的 neuron-only SNN 输入。
限制
快照通过源文件前后 inode/size/mtime/ctime 和枚举一致性检查，不是文件系统原子快照。秘密扫描是有限的 UTF-8 小文本规则，不是对所有二进制、内嵌归档及第三方资源的安全担保。工具内容校验不独立证明 catalog 的真实性；应固定仓库 commit 和 catalog SHA。源码只读校验不能被表述为重新执行全历史科学 gate。