中文

一元计算中执行乘法与矩阵点积的可扩展方法

新兴技术 2023-07-10 v1

摘要

随机计算是一种在随机生成的比特流上执行逻辑操作的范式。复杂算术运算可由简单逻辑电路执行,相较于传统二进制对应方案,面积占用大幅减小。然而,生成比特流所需的随机或伪随机源在面积上代价高昂,抵消了上述优势。此外,由于固有的随机性,计算缺乏精度,限制了该范式的适用性。重要的是,在随机计算中达到合理精度涉及高延迟。近来,确定性随机计算方法被提出,表明随机性并非必需。通过确定性地构造计算,可获得精确结果,并大幅降低延迟。所生成的比特流遵循“一元”编码,保留了比特的非位置特性,同时摒弃了传统随机计算的随机比特生成。这种确定性方法克服了随机计算的诸多缺陷,尽管其延迟随逻辑层级呈二次增长,超出少数层级后便难以处理。在本文中,我们提出一种近似确定性方法结果、同时在各层级保持低延迟的方法。这一改进以额外逻辑为代价,但我们证明面积增长随 n 的平方根缩放,其中 n 表示等效二进制精度位数。我们的新方法通用、高效、可组合,并适用于所有采用随机逻辑执行的算术运算。我们表明,对于矩阵乘法(点积)——近乎所有机器学习算法中的关键步骤——该方法优于其他随机设计。

关键词

引用

@article{arxiv.2307.03204,
  title  = {A Scalable Approach to Performing Multiplication and Matrix Dot-Products in Unary},
  author = {Yadu Kiran and Marc Riedel},
  journal= {arXiv preprint arXiv:2307.03204},
  year   = {2023}
}

备注

25 pages, 8 figures