随机舍入在数值算法中的积极作用
数值分析
2022-07-11 v1 数值分析
摘要
近来，随机舍入（SR）已在专用硬件中实现，但当前大多数计算节点尚不支持该舍入模式。若干工作从经验上说明了随机舍入在神经网络与常微分方程等多个领域的益处。对于某些算法，如求和、内积或矩阵向量乘法，已证明SR提供的概率误差界优于传统确定性误差界。在本文中，我们扩展这一理论基础以推动SR在计算机体系结构中的更广泛应用。首先，我们分析了两种SR模式：SR-nearness与SR-up-or-down的偏差。我们以欧拉前向法为案例证明，IEEE-754默认舍入模式与SR-up-or-down会在迭代间累积舍入误差，而无偏的SR-nearness则不会。其次，我们证明了使用SR的Horner多项式求值法前向误差的O()概率界，改进了已知的确定性O(n)界。
引用
@article{arxiv.2207.03837,
title = {The Positive Effects of Stochastic Rounding in Numerical Algorithms},
author = {El-Mehdi El Arar and Devan Sohier and Pablo de Oliveira Castro and Eric Petit},
journal= {arXiv preprint arXiv:2207.03837},
year = {2022}
}