基于模板的 posit 乘法用于神经网络训练与推理
计算机视觉与模式识别
2019-07-10 v1 机器学习
摘要
posit 数系统可以说是当今算术领域中最有前途且被广泛讨论的课题。由 John L. Gustafson 提出的格式所宣称的近期突破使 posits 成为焦点。在这项工作中，我们首先描述了一种两个 posit 数相乘的算法，即使指数位数为零时也适用。这种在文献中极少被处理的配置尤其有趣，因为它允许部署快速的 sigmoid 函数。随后，所提出的乘法算法作为模板集成到著名的 FloPoCo 框架中。综合结果也展示出来以与 FloPoCo 提供的浮点乘法进行比较。其次，研究了 posits 在神经网络训练和推理阶段的性能。据我们所知，这是首次使用 posit 格式进行训练，即使采用精简的 posit 配置，也在二分类问题上取得了有前景的结果。在推理阶段，处理 MNIST 数据集时 8 位 posits 与浮点性能相当，但在 CIFAR-10 上损失了一些精度。
引用
@article{arxiv.1907.04091,
title = {Template-Based Posit Multiplication for Training and Inferring in Neural Networks},
author = {Raúl Murillo Montero and Alberto A. Del Barrio and Guillermo Botella},
journal= {arXiv preprint arXiv:1907.04091},
year = {2019}
}
备注
12 pages