RepDL：比特级可复现的深度学习训练与推理
机器学习
2025-10-13 v1 软件工程
摘要
非确定性和不可复现性在深度学习中构成了重大挑战，导致不同运行和平台上的结果不一致。这些问题源于两个根源：随机数生成和浮点计算。虽然随机性可以通过确定性配置来控制，但浮点不一致性在很大程度上仍未解决。为了解决这个问题，我们引入了 RepDL，这是一个开源库，可确保在不同计算环境中实现确定性和比特级可复现的深度学习训练与推理。RepDL 通过在浮点计算中强制执行正确的舍入和顺序不变性来实现这一点。源代码可在 https://github.com/microsoft/RepDL 获取。
引用
@article{arxiv.2510.09180,
title = {RepDL: Bit-level Reproducible Deep Learning Training and Inference},
author = {Peichen Xie and Xian Zhang and Shuo Chen},
journal= {arXiv preprint arXiv:2510.09180},
year = {2025}
}
备注
Originally drafted in 2023