关于批量不变 GPU 矩阵乘法浮点噪声结构的研究

浮点数非结合性使得 fundamental 深度学习操作，例如 GPU 上的矩阵乘法（matmul）具有内在的非确定性。尽管如此， resulting numerical error 的统计结构仍然鲜为人知。常见的工作假设是，这些误差行为为独立同分布（i.i.d.）的高斯噪声。在本文中，我们经验性地检验了这一假设，发现其未能描述真实 GPU 的行为。通过比较单输入和批量 matmul 的输出，我们发现虽然 i.i.d. 模型预测输出具有非零不稳定性，但实证结果显示 0.00% 的预测翻转率。通过协方差分析，我们揭示了原因：浮点误差是结构化的且高度相关。对于 float16，约 50% 的总误差方差位于非对角线上，表明该噪声表现为一种协调的、有方向的扰动，而非随机静态。这一结果挑战了数值噪声的 prevailing 随机观，为在硬件非确定性下分析深度学习可靠性提供了原则性基础。