一种用于低精度训练神经网络的简单高效随机舍入方法
机器学习
2021-03-26 v1
摘要
常规随机舍入（CSR）被广泛用于神经网络（NNs）的训练，即使在低精度计算中也展现出有前景的训练结果。我们引入一种改进的低精度随机舍入方法，简单且高效。所提方法成功以16位定点数训练神经网络，并比 CSR 与确定性就近舍入方法提供更快的收敛与更高的分类精度。
引用
@article{arxiv.2103.13445,
title = {A Simple and Efficient Stochastic Rounding Method for Training Neural Networks in Low Precision},
author = {Lu Xia and Martijn Anthonissen and Michiel Hochstenbach and Barry Koren},
journal= {arXiv preprint arXiv:2103.13445},
year = {2021}
}