consolidate-main-preserve-science-lfs-cpu-gpu-history
This commit is contained in:
Digital Drosophila Archive
@@ -0,0 +1,43 @@
|
||||
# 从 main 恢复代码和已发布数据
|
||||
|
||||
这是新的统一入口。已封存 `registry/publication-20261001/` 和 `registry/acceleration-20261001/` 文档保持原字节，其中旧分支名称是历史记录；当前应 clone main，或使用 `archive/2026-10-01/*` 精确标签。
|
||||
|
||||
## 先获取轻量代码
|
||||
|
||||
```sh
|
||||
GIT_LFS_SKIP_SMUDGE=1 git clone --branch main \
|
||||
ssh://git@192.168.10.31:2222/qishizhe/digital-drosophila.git digital-drosophila-restore
|
||||
cd digital-drosophila-restore
|
||||
git lfs install --local
|
||||
```
|
||||
|
||||
不要 clone 到已存在的 `/data/digital-drosophila`，不要运行封存阶段的生成脚本。首次 clone 跳过 LFS，避免意外下载约 9.9 GB 的全部发布对象。
|
||||
|
||||
## 按需获取
|
||||
|
||||
CPU/GPU 回放约 76.4 MB：
|
||||
|
||||
```sh
|
||||
git lfs pull --include='artifacts/acceleration-20261001/**' --exclude=''
|
||||
python3 -B tools/acceleration-publication/archive_results.py verify
|
||||
```
|
||||
|
||||
官方/参考数据：
|
||||
|
||||
```sh
|
||||
git lfs pull --include='artifacts/public-resources-20261001/**' --exclude=''
|
||||
python3 -B tools/lfs-publication/publish_archives.py verify \
|
||||
--group-dir artifacts/public-resources-20261001/malecns-swc
|
||||
```
|
||||
|
||||
对需要的每组分别 verify。8 组原数据的来源、许可、组名和原始验证记录见 `registry/publication-20261001/README.md`。仅获取一个组时，可将 include 缩小到该组路径。
|
||||
|
||||
main 保留 **181 个 artifacts Git 路径、171 个 LFS pointer 路径**，其中包含成员/排除清单等 LFS 文件，不是 171 个模型。原始/参考资源含 226,859 个内部文件；两份性能回放归档含 1,680 个内部文件。没有重打包、修改 OID 或重新上传原数据。
|
||||
|
||||
## 重要边界
|
||||
|
||||
- Git 指针不是数据本体；只有下载并验证过的对象才能当作已恢复。
|
||||
- CPU/GPU 回放包不是完整 Phase 4AR 训练现场备份；全 E/AQ 与脑回放仍依赖外部原始 checkpoint、请求、静态 bundle 和固定科学源码。完整依赖由保存的 source pins 描述。
|
||||
- 旧目录级 manifest 可能包含有意未公开的编译缓存。性能归档应使用 `publication-catalog.json` 验证；不能把缓存缺失说成科学数据损坏。
|
||||
- 不要求内网专用 transfer adapter 才能读取标准 LFS 对象。服务器上已有的 LAN adapter 只解决特定网络路径，不应复制其本机绝对路径到别的电脑。
|
||||
- 不覆盖 raw、Phase 1–4AQ 及独立性能封存文件；不自动恢复训练、升级模型或启动后续实验。
|
||||
@@ -1,23 +1,47 @@
|
||||
# 分支用途与当前入口
|
||||
# 分支整理与历史恢复
|
||||
|
||||
2026-10-01 只读审计。此次只保存/推送已存在的加速实验分支，不删除分支、不强推、不合并、不更改默认分支。
|
||||
2026-10-01 用户明确确认：统一 `main`，先标签归档并验证可恢复，再清理旧远端分支。服务器已有工作目录保持原样。
|
||||
|
||||
所有名称均带 `codex/` 前缀。
|
||||
## 日常入口
|
||||
|
||||
| 分支 | 用途 |
|
||||
|---|---|
|
||||
| project-bootstrap | 最初项目归档、数据索引、论文与来源；当前远端默认入口 |
|
||||
| apl-pn-scope-audit | APL→PN 实际接触位置审计 |
|
||||
| terminal-scope-diagnostic | PN calyx 接触范围诊断 |
|
||||
| lif-semantics-audit | 冻结 LIF 语义与反馈回路审计 |
|
||||
| lif-author-semantics-lab | 独立模型及正式 Phase 4AR/CPU 实现，当前科学现场的分支 |
|
||||
| lfs-public-resources | 获准公开再分发的大数据、作者资源及实际远端恢复验证 |
|
||||
| v100-conditioning-acceleration | CPU 常驻、独立校验、V100 更新原型、4090 常驻回放；本次最新保存入口 |
|
||||
只使用 `main` 查看最新代码、CPU/GPU 方案、文档及 LFS 归档。数据、实验结果仍保留原有科学版本；仓库合并不等于模型升级或学习成功。
|
||||
|
||||
前五个主要是同一条提交历史上的阶段指针，并不是五份独立完整数据。它们线性继承至 `09187e4`，之后分为 LFS 资源发布和加速实验两条路线。Git/LFS 会按内容地址保存对象；多个分支名不意味着同一文件被完整复制多份。
|
||||
旧阶段不再长期占用远端分支列表，改为以下 **带说明、约定不重写的归档标签**。标签保留的 Git 提交、科学源码、LFS OID/size 均不变；此处“不重写”是维护规则，不宣称服务器已强制开启标签保护。
|
||||
|
||||
加速分支原已在本地存在，本次推送后远端共 7 个分支。CPU/GPU 两套实现放在同一加速分支的不同目录，不再各建分支。LFS 资源分支仍独立，不能把这次发布描述为已经合并全部数据。
|
||||
| 旧分支（原均带 codex/） | 归档标签（前缀 archive/2026-10-01/） | 精确提交 |
|
||||
|---|---|---|
|
||||
| project-bootstrap | project-bootstrap | `3981628ff893132a8148668aa94726886dba57a3` |
|
||||
| apl-pn-scope-audit | apl-pn-scope-audit | `d6843e675dec5ae38a06f2ba70d74836aea53ace` |
|
||||
| terminal-scope-diagnostic | terminal-scope-diagnostic | `3213aada793740961885ba525494e95f019be6f8` |
|
||||
| lif-semantics-audit | lif-semantics-audit | `5008cd85ca11750f23ce7bc001e8e821763b7501` |
|
||||
| lif-author-semantics-lab | lif-author-semantics-lab | `09187e4d4d67badf1b418c5f211258ca5d8fb328` |
|
||||
| lfs-public-resources | lfs-public-resources | `5b1d1b72d7683b5c3dcc1f78b408e1d9dd2832ac` |
|
||||
| v100-conditioning-acceleration | v100-conditioning-acceleration | `4436241976887d8cc10088b0d44bc7ed70978fe6` |
|
||||
|
||||
默认仍为最早的 bootstrap，所以网页默认看到的内容较旧。这是入口未整理，不是后续工作丢失。
|
||||
前五个是线性历史链，后两条从 `09187e4` 分出。本次保留双亲合并而非 squash/rebase，所有旧提交仍可追溯。
|
||||
|
||||
后续可在用户确认后统一主入口、给历史阶段打保留标签，再整理旧分支。集成 LFS 时需核对属性、状态文档、许可说明和自动下载开销；不得把工程实验分支直接视为通过科学验收的正式运行时。
|
||||
远端分支删除不删除 Git 提交或 LFS 对象，历史版本由标签继续引用。执行记录在 `registry/branch-consolidation-20261001/`；清理须在归档标签实际远端核验、main 上传与默认入口切换后进行。
|
||||
|
||||
## 不动服务器科学现场
|
||||
|
||||
- `/data/digital-drosophila` 仍停在原本地科学分支和 `09187e4`；不 checkout main，不 pull/merge，不重试 AR。
|
||||
- `/home/qishizhe/digital-drosophila-v100-acceleration` 保留独立实验原工作树。
|
||||
- 旧本地分支保留；远端同名分支移除后，不应从这些冻结工作树重新 push 旧分支。
|
||||
- 后续开发从新的 main clone 开始。原 Phase 4AR 仍停止于 1,033 轮已 CPU 校验训练、138 probes，科学结论未判定。
|
||||
|
||||
## 恢复指定历史版本
|
||||
|
||||
在新的空目录获取，而不是覆盖原科学目录：
|
||||
|
||||
```sh
|
||||
GIT_LFS_SKIP_SMUDGE=1 git clone --branch archive/2026-10-01/v100-conditioning-acceleration \
|
||||
ssh://git@192.168.10.31:2222/qishizhe/digital-drosophila.git digital-drosophila-history
|
||||
```
|
||||
|
||||
clone tag 会得到 detached HEAD，这是只读查看历史的正常状态。原始资源归档对应 `archive/2026-10-01/lfs-public-resources`。
|
||||
|
||||
如以后确需恢复旧分支，可在新 clone 中从对应 tag 创建分支；需用户再次授权推送，避免重新制造已整理的远端分支。
|
||||
|
||||
## 今后的规则
|
||||
|
||||
`main` 是统一入口；短期开发使用 `codex/<task>`。工作完成、通过相应验收后合并，重要节点打标签。实验失败同样保留报告与标签，不通过删除失败证据整理仓库。任何受保护科学输入/产物仍遵循原冻结契约。
|
||||
|
||||
Reference in New Issue
Block a user