单精度与双精度下的神经网络训练
机器学习
2022-11-01 v1
摘要
对单精度浮点运算的依赖在深度学习领域十分普遍。为评估这一依赖是否合理，我们研究了计算精度（单精度与双精度）对共轭梯度（CG）法（一种二阶优化算法）和RMSprop（一种一阶算法）优化性能的影响。我们对具有一至五个全连接隐藏层、具有中等或强非线性、参数量达400万的神经网络以均方误差（MSE）为目标进行优化。训练任务被设定为其MSE最小值已知为零。计算实验表明，只要线搜索能找到改进，单精度便可（以超线性收敛）与双精度持平。诸如RMSprop的一阶方法并不受益于双精度。然而，对于中等非线性任务，CG明显更优。对于强非线性任务，两类算法均只找到相对于输出方差而言均方误差较差的解。当解有可能对应用目标有用时，采用双浮点精度的CG更优。
引用
@article{arxiv.2209.07219,
title = {Training Neural Networks in Single vs Double Precision},
author = {Tomas Hrycej and Bernhard Bermeitinger and Siegfried Handschuh},
journal= {arXiv preprint arXiv:2209.07219},
year = {2022}
}