ZnTrack——数据即代码

过去十年计算领域取得了巨大突破，且没有任何迹象表明这一趋势会在短期内放缓。机器学习、大规模计算资源以及产业界关注度的提升，使得针对数据管理、仿真和模型生成的计算机驱动解决方案的投资不断增加。然而，伴随计算能力增长而来的是更大规模的数据扩张，以及随之而来的数据存储、共享和追踪的复杂性。在本工作中，我们介绍了 ZnTrack，一个 Python 驱动的数据版本控制工具。ZnTrack 构建于成熟的版本控制系统之上，为追踪实验参数、设计工作流以及存储和共享数据提供了用户友好且易于使用的界面。这种将大型数据集简化为简单 Python 脚本的能力催生了“数据即代码”的概念，这是本文工作的核心组成部分，也是随着计算时代持续演进无疑十分重要的概念。ZnTrack 提供了一个开源的、兼容 FAIR 数据标准的 Python 包，使用户能够利用这些面向未来的概念。