Flexpoint：一种用于深度神经网络高效训练的自适应数值格式
机器学习
2017-12-05 v2 数值分析
机器学习
摘要
深度神经网络通常以 32 位浮点格式开发与训练。若采用为深度学习优化的数值格式进行训练与推理，可在性能与能效上获得显著收益。尽管近年来有限精度推理取得进展，以低位宽训练神经网络仍具挑战性。本文提出 Flexpoint 数据格式，旨在完全替代 32 位浮点格式的训练与推理，其设计可在不做修改的情况下支持现代深度网络拓扑。Flexpoint 张量具有共享指数，该指数被动态调整以最小化溢出并最大化可用动态范围。我们使用基于 neon 深度学习框架实现的模拟器，通过训练 AlexNet、深度残差网络与生成对抗网络（GAN）验证了 Flexpoint。我们证明 16 位 Flexpoint 在训练全部三种模型时紧密匹配 32 位浮点，且无需调整任何模型超参数。我们的结果表明 Flexpoint 作为面向未来训练与推理硬件的一种有前景的数值格式。
引用
@article{arxiv.1711.02213,
title = {Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks},
author = {Urs Köster and Tristan J. Webb and Xin Wang and Marcel Nassar and Arjun K. Bansal and William H. Constable and Oğuz H. Elibol and Scott Gray and Stewart Hall and Luke Hornof and Amir Khosrowshahi and Carey Kloss and Ruby J. Pai and Naveen Rao},
journal= {arXiv preprint arXiv:1711.02213},
year = {2017}
}
备注
14 pages, 5 figures, accepted in Neural Information Processing Systems 2017