纯 16 位浮点神经网络的隐藏威力
机器学习
2024-05-06 v2 人工智能
性能
摘要
尽管能节省空间与时间，将神经网络的精度从主流的 32 位精度降低长期以来被认为会损害性能。许多工作提出各种技术来实现半精度神经网络，但均未研究纯 16 位设置。本文研究了分类任务中纯 16 位神经网络相对于 32 位网络出人意料的性能提升。我们给出了大量实验结果，将各类 16 位神经网络的性能与 32 位模型进行了有利对比。此外，提供了对 16 位模型效率的理论分析，并辅以实证证据支撑。最后，我们讨论了低精度训练确实有害的情形。
引用
@article{arxiv.2301.12809,
title = {The Hidden Power of Pure 16-bit Floating-Point Neural Networks},
author = {Juyoung Yun and Byungkon Kang and Zhoulai Fu},
journal= {arXiv preprint arXiv:2301.12809},
year = {2024}
}