Digital Drosophila Archive
30 lines
1.6 KiB
Markdown
30 lines
1.6 KiB
Markdown
# 大数据同步与备份（尚未配置异机目的地）
|
||
|
||
初始化前本机项目磁盘占用约 29,724,987,392 bytes（29.72 GB）：
|
||
|
||
| 分类 | 磁盘占用 bytes |
|
||
|---|---:|
|
||
| datasets | 15,881,289,728 |
|
||
| experiments | 7,598,972,928 |
|
||
| models（主要为环境） | 6,244,691,968 |
|
||
|
||
两个虚拟环境共约 6.46 GB；排除环境仍有约 23.26 GB，包括原始/派生数据、已有压缩包和外部代码副本。
|
||
逐文件快照使用逻辑 bytes，与 du 实占、Git 压缩包大小不是同一指标，不应混用。
|
||
历史 Phase 1–2 `.tar.zst` 为 3,464,817,549 bytes；它不是全阶段备份。
|
||
|
||
## 推荐分层
|
||
|
||
- Git：小代码、YAML、报告、书目、外部版本锁和 SHA-256 索引。
|
||
- 版本化文件存储/NAS/对象存储：原始 SWC/Feather、CSR、Parquet/NPZ 事件、实验状态和历史压缩包。
|
||
- 可重建环境：记录包/driver/compiler版本，按需另备离线 wheel 和编译依赖。
|
||
|
||
第二层尚未指定目的地、容量、访问权限与保留策略，所以本次**没有**声称完成异机全量备份。
|
||
Git 服务所在 IP 不自动等于获准的数据存储目录；不擅自把 23 GB 数据复制到服务根目录。
|
||
|
||
## 后续执行要求
|
||
|
||
选择明确的新备份目录，确认空间后先 dry-run，再增量/断点传输；默认不删除目的地文件。
|
||
恢复到独立空目录后运行完整 SHA-256 验证，记录 source/destination/snapshot hash/时间/结果。
|
||
至少保留一份独立故障域副本；同盘压缩包和同机 Git 不抵抗磁盘损坏。
|
||
数据同步与历史版本备份不是一回事，禁止用无版本镜像替代保留策略。
|