Digital Drosophila Archive
56 lines
5.7 KiB
Markdown
56 lines
5.7 KiB
Markdown
# 2026-10-01 公开 LFS 资源发布
|
||
|
||
这是现有下载资源的归档发布，不是新的科学实验，不表示 Phase 4AR 已完成或学习通过。用户明确选择保留公开仓库，仅上传确认可公开再分发的资源。活动项目工作树和 Phase 1–4AQ 冻结文件不参与写入。
|
||
|
||
## 范围与许可
|
||
|
||
| 资源 | 许可/依据 | 本次处理 |
|
||
|---|---|---|
|
||
| MaleCNS v1.0 annotations、neurotransmitters、connectome、SWC、synaptic partners | [官方数据页](https://male-cns.janelia.org/download/)明确指向 [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) | 逐文件原字节归档、署名、来源与 SHA-256 |
|
||
| 原有 Phase 3 / 3B processed 数据 | 基于上述 CC BY 4.0 数据的本项目派生物 | 保留原有过滤/重编号/CSR 转换说明；不重新计算、不更改科学含义 |
|
||
| Cell Type Explorer | 固定 commit 的 LICENSE，CC BY 4.0 | 原字节源码/数据快照，保留 LICENSE |
|
||
| visualpathways | 固定 commit 的 LICENSE 为 GPL v3 文本 | 原字节源码及 companion resources，保留 notices；不替上游判断 only/or-later |
|
||
| DoOR.data 2.0.1 | 固定 commit 的 DESCRIPTION：CC BY-SA 4.0 | 保留作者、原数据来源、ShareAlike 条件 |
|
||
| Shiu Drosophila_brain_model | 固定 commit 的 MIT LICENSE | 已下载作者模型源码与环境描述，不称预训练权重 |
|
||
|
||
每组精确来源、commit、许可证据 SHA 和修改说明见 `plan.json` 及资源 `catalog.json`；许可证原文随对应上游副本保留。MaleCNS 原数据署名：FlyEM/HHMI Janelia、University of Cambridge Department of Zoology、MRC Laboratory of Molecular Biology、Google Research 及原论文作者。归档封装不意味着这些机构认可本项目模型或结论。
|
||
|
||
DoOR 作者为 Daniel Münch、C. Giovanni Galizia、Shouwen Ma、Martin Strauch、Anja Nissler；[DoOR 2.0 论文](https://doi.org/10.1038/srep21841)及[原始 DoOR 论文](https://doi.org/10.1093/chemse/bjq042)只引用，不另外打包出版商全文。各第三方资源维持原许可，本项目没有给整个仓库强行统一换证。
|
||
|
||
## 明确不上传
|
||
|
||
- FlyVis：冻结 checkout 仅见 MIT classifier，缺独立 LICENSE；数据和预训练权重的再分发权未确认。实际盘点未发现独立下载的预训练 checkpoint/ZIP；不得把源码、几何坐标或功能通道桥接称为下载权重。
|
||
- `datasets/male-cns-v1.0/backups/` 的既有 Phase 1/2 备份包：保留原地；本次已直接归档其 raw 数据，不再重复上传整份备份。
|
||
- Phase 4AD 重复的 Shiu 作者源码：本次仅归档 Phase 4AC 副本；既有目录及历史索引保留。
|
||
- 历史本项目 learned delta、当前 Phase 4AR 正在写入的结果/账本、虚拟环境、缓存、Git 内部目录、凭据、下载日志。
|
||
- ComfyUI 及其他项目、原始 EM 图像、未下载的 syn-points、许可不明的出版商论文全文。
|
||
- visualpathways 的 `pdfversion/` 及 `docs/column_coord.pdf`：已识别为作者图集/配套说明而非一般论文集合，但本次保守等待输出 PDF 的明确许可范围，不把生成程序的 GPL 自动视作所有输出的许可；源码和其余已明确仓库许可的资源仍保留。
|
||
|
||
未列入 plan 的目录默认不发布。额外路径剔除及环境/缓存规则的实际命中保存在各组 `exclusions.jsonl.gz`；文件内容未被改写或“脱敏后替代原件”。
|
||
|
||
## 存储及校验
|
||
|
||
归档位于 `artifacts/public-resources-20261001/<group>/`。每组为独立 tar+zstd，切成最多 64 MiB 的有序 LFS 分块，方便大文件传输中断后重试未完成对象。`members.jsonl.gz` 对每个原始相对路径记录大小和 SHA-256；`catalog.json` 记录每块及拼接归档 SHA、源总数、源字节数、来源和许可。分块改变的是存储容器，不是内部文件内容。
|
||
|
||
`pack-summary.json` 存在且 complete=true 仅表示本地打包完成，不等于上传/远程恢复成功。上传后使用独立 clone 和新的 LFS object store 实际下载，再逐块、逐归档、逐内部文件流式校验。对应 receipt 只有在真实校验完成后才会提交。
|
||
|
||
本次不是服务器所有内容的完整灾备。Gitea LFS 与 Git 仓库数据目录均需另有服务端备份；删除服务端 LFS 对象会破坏恢复能力。尚未核验 Gitea 主机磁盘容量和备份策略。
|
||
|
||
## 安全恢复（Linux 示例）
|
||
|
||
先安装 Git LFS、Python 3 和 zstd。只在新目录恢复，不要覆盖运行中的 `/data/digital-drosophila`。
|
||
|
||
```sh
|
||
GIT_LFS_SKIP_SMUDGE=1 git clone --branch codex/lfs-public-resources ssh://git@192.168.10.31:2222/qishizhe/digital-drosophila.git digital-drosophila-restore
|
||
cd digital-drosophila-restore
|
||
git lfs install --local
|
||
git lfs pull --include='artifacts/public-resources-20261001/**'
|
||
python3 -B tools/lfs-publication/publish_archives.py verify --group-dir artifacts/public-resources-20261001/malecns-swc
|
||
```
|
||
|
||
对每组运行 verify 并全部通过后，按 catalog 顺序拼接 `payload-000000.bin` 等文件，可用 `zstd -d` 和 tar 在**新建的空恢复目录**解包。归档路径从 `datasets/` 或 `experiments/` 起，无绝对路径。不要运行归档中模型/下载脚本来“验证”，本轮只验证内容。正式使用前仍需检查对应科学阶段 manifest；旧 all-body Phase 3 不能替代已批准的 neuron-only SNN 输入。
|
||
|
||
## 限制
|
||
|
||
快照通过源文件前后 inode/size/mtime/ctime 和枚举一致性检查，不是文件系统原子快照。秘密扫描是有限的 UTF-8 小文本规则，不是对所有二进制、内嵌归档及第三方资源的安全担保。工具内容校验不独立证明 catalog 的真实性；应固定仓库 commit 和 catalog SHA。源码只读校验不能被表述为重新执行全历史科学 gate。
|