Files
digital-drosophila/docs/40-operations/backup.md
T

1.6 KiB
Raw Blame History

大数据同步与备份(尚未配置异机目的地)

初始化前本机项目磁盘占用约 29,724,987,392 bytes(29.72 GB):

分类 磁盘占用 bytes
datasets 15,881,289,728
experiments 7,598,972,928
models(主要为环境) 6,244,691,968

两个虚拟环境共约 6.46 GB;排除环境仍有约 23.26 GB,包括原始/派生数据、已有压缩包和外部代码副本。 逐文件快照使用逻辑 bytes,与 du 实占、Git 压缩包大小不是同一指标,不应混用。 历史 Phase 1–2 .tar.zst 为 3,464,817,549 bytes;它不是全阶段备份。

推荐分层

  • Git:小代码、YAML、报告、书目、外部版本锁和 SHA-256 索引。
  • 版本化文件存储/NAS/对象存储:原始 SWC/Feather、CSR、Parquet/NPZ 事件、实验状态和历史压缩包。
  • 可重建环境:记录包/driver/compiler版本,按需另备离线 wheel 和编译依赖。

第二层尚未指定目的地、容量、访问权限与保留策略,所以本次没有声称完成异机全量备份。 Git 服务所在 IP 不自动等于获准的数据存储目录;不擅自把 23 GB 数据复制到服务根目录。

后续执行要求

选择明确的新备份目录,确认空间后先 dry-run,再增量/断点传输;默认不删除目的地文件。 恢复到独立空目录后运行完整 SHA-256 验证,记录 source/destination/snapshot hash/时间/结果。 至少保留一份独立故障域副本;同盘压缩包和同机 Git 不抵抗磁盘损坏。 数据同步与历史版本备份不是一回事,禁止用无版本镜像替代保留策略。