一元计算中执行乘法与矩阵点积的可扩展方法
新兴技术
2023-07-10 v1
摘要
随机计算是一种在随机生成的比特流上执行逻辑操作的范式。复杂算术运算可由简单逻辑电路执行,相较于传统二进制对应方案,面积占用大幅减小。然而,生成比特流所需的随机或伪随机源在面积上代价高昂,抵消了上述优势。此外,由于固有的随机性,计算缺乏精度,限制了该范式的适用性。重要的是,在随机计算中达到合理精度涉及高延迟。近来,确定性随机计算方法被提出,表明随机性并非必需。通过确定性地构造计算,可获得精确结果,并大幅降低延迟。所生成的比特流遵循“一元”编码,保留了比特的非位置特性,同时摒弃了传统随机计算的随机比特生成。这种确定性方法克服了随机计算的诸多缺陷,尽管其延迟随逻辑层级呈二次增长,超出少数层级后便难以处理。在本文中,我们提出一种近似确定性方法结果、同时在各层级保持低延迟的方法。这一改进以额外逻辑为代价,但我们证明面积增长随 n 的平方根缩放,其中 n 表示等效二进制精度位数。我们的新方法通用、高效、可组合,并适用于所有采用随机逻辑执行的算术运算。我们表明,对于矩阵乘法(点积)——近乎所有机器学习算法中的关键步骤——该方法优于其他随机设计。
引用
@article{arxiv.2307.03204,
title = {A Scalable Approach to Performing Multiplication and Matrix Dot-Products in Unary},
author = {Yadu Kiran and Marc Riedel},
journal= {arXiv preprint arXiv:2307.03204},
year = {2023}
}
备注
25 pages, 8 figures