使用 Posit 数值系统训练深度神经网络
机器学习
2019-09-10 v1
摘要
随着深度神经网络（DNN）模型规模的不断增长，高内存空间需求与计算复杂度已成为高效 DNN 实现的障碍。为缓解此问题，使用低精度表示进行 DNN 训练与推理已引起研究人员的广泛兴趣。本文首先提出一种基于 posit 算术训练 DNN 的方法，posit 算术是一种 3 型通用数（Unum）格式，类似于浮点（FP）但具有降低的精度。我们采用预热训练策略和逐层缩放因子以稳定训练并适配 DNN 参数的动态范围。借助所提训练方法，我们展示了首次以 16 位 posit 在 ImageNet 图像分类任务上成功训练 DNN 模型且无精度损失。此外，还提出了一种用于 posit 乘累加运算的高效硬件架构，相比传统浮点实现可显著提升能效。所提设计有助于未来的低功耗 DNN 训练加速器。
引用
@article{arxiv.1909.03831,
title = {Training Deep Neural Networks Using Posit Number System},
author = {Jinming Lu and Siyuan Lu and Zhisheng Wang and Chao Fang and Jun Lin and Zhongfeng Wang and Li Du},
journal= {arXiv preprint arXiv:1909.03831},
year = {2019}
}
备注
accepted by SOCC2019