Archive MaleCNS research sources, provenance, bibliography and immutable data inventory
This commit is contained in:
@@ -0,0 +1,29 @@
|
||||
# 大数据同步与备份(尚未配置异机目的地)
|
||||
|
||||
初始化前本机项目磁盘占用约 29,724,987,392 bytes(29.72 GB):
|
||||
|
||||
| 分类 | 磁盘占用 bytes |
|
||||
|---|---:|
|
||||
| datasets | 15,881,289,728 |
|
||||
| experiments | 7,598,972,928 |
|
||||
| models(主要为环境) | 6,244,691,968 |
|
||||
|
||||
两个虚拟环境共约 6.46 GB;排除环境仍有约 23.26 GB,包括原始/派生数据、已有压缩包和外部代码副本。
|
||||
逐文件快照使用逻辑 bytes,与 du 实占、Git 压缩包大小不是同一指标,不应混用。
|
||||
历史 Phase 1–2 `.tar.zst` 为 3,464,817,549 bytes;它不是全阶段备份。
|
||||
|
||||
## 推荐分层
|
||||
|
||||
- Git:小代码、YAML、报告、书目、外部版本锁和 SHA-256 索引。
|
||||
- 版本化文件存储/NAS/对象存储:原始 SWC/Feather、CSR、Parquet/NPZ 事件、实验状态和历史压缩包。
|
||||
- 可重建环境:记录包/driver/compiler版本,按需另备离线 wheel 和编译依赖。
|
||||
|
||||
第二层尚未指定目的地、容量、访问权限与保留策略,所以本次**没有**声称完成异机全量备份。
|
||||
Git 服务所在 IP 不自动等于获准的数据存储目录;不擅自把 23 GB 数据复制到服务根目录。
|
||||
|
||||
## 后续执行要求
|
||||
|
||||
选择明确的新备份目录,确认空间后先 dry-run,再增量/断点传输;默认不删除目的地文件。
|
||||
恢复到独立空目录后运行完整 SHA-256 验证,记录 source/destination/snapshot hash/时间/结果。
|
||||
至少保留一份独立故障域副本;同盘压缩包和同机 Git 不抵抗磁盘损坏。
|
||||
数据同步与历史版本备份不是一回事,禁止用无版本镜像替代保留策略。
|
||||
@@ -0,0 +1,26 @@
|
||||
# Git 同步规则
|
||||
|
||||
远程:`ssh://git@192.168.10.31:2222/qishizhe/digital-drosophila.git`。
|
||||
服务器→Git 服务免密读取已确认;本机→计算服务器是另一条独立认证链。
|
||||
首次建立 `codex/project-bootstrap`,不 force push,不伪造旧阶段 commits。
|
||||
|
||||
```bash
|
||||
cd /data/digital-drosophila
|
||||
git status --short
|
||||
git diff --stat
|
||||
# 只添加明确需要的代码、文档和新清单,先审查再提交。
|
||||
git add docs references registry tools README.md NOTICE.md .gitignore .gitattributes
|
||||
python3 -B tools/repo_guard.py
|
||||
git diff --cached --stat
|
||||
git commit -m 'Document audited project update'
|
||||
git push origin codex/project-bootstrap
|
||||
```
|
||||
|
||||
源代码更新须显式列出路径;不要为整理仓库修改已封存模型文件。
|
||||
`.gitattributes` 禁用文本换行转换以保留旧源码哈希;本仓库 local core.autocrlf=false。
|
||||
不要运行 `git clean -fdx`、强制 reset、会删 ignored 数据的清理工具,或对现有项目做镜像删除同步。
|
||||
不要使用 `git add -f datasets experiments` 绕过防护。
|
||||
|
||||
`repo_guard.py` 检查 staged blob:数据/环境/嵌套仓库、>25 MiB 文件、常见凭据标记;它不是完备的 DLP/安全扫描器,仍需人工审查。
|
||||
首次提交身份 `Digital Drosophila Archive <archive@localhost>` 是归档机器人,不代表研究作者。
|
||||
仓库 default branch 可由服务管理员选择;本次不改服务的全局设置。
|
||||
Reference in New Issue
Block a user