具有任意降序和非精确激活实现的浮点神经网络的表达力
机器学习
2026-05-28 v1
摘要
大多数现有的神经网络表达力理论都假设精确实数算术，而实际神经网络是在有限精度浮点算术下执行的，具有实现依赖的执行语义。最近的工作开始研究浮点神经网络的表达力，但现有结果受限于高度受限的激活函数和理想化假设，如固定的左到右降序和正确舍入的激活实现。在本工作中，我们研究在广义浮点执行语义下的浮点神经网络的表达力，包括任意降序和带有有界 ulp 误差的非精确激活实现。为此，我们调查浮点神经网络在何时可以精确表示浮点域之间的任意函数。为此，我们引入了一般的可区分性框架，表明能够在第一层区分每一对不同输入的能力是实现普遍可表示性的必要条件。这种特征描述yield出广泛的激活实现类别，这些实现不是通用可表示器，扩展了之前的孤立反例，如正确舍入的余弦激活。我们进一步证明，适当形式的可区分性也足以在激活实现的轻度条件下实现普遍可表示性。使用该框架，我们为广泛的实用激活函数建立了普遍可表示性结果，包括 、、、、、、、 和 的实现，在显著更真实的浮点执行模型下（相较于以前已知）均可实现。
引用
@article{arxiv.2605.28704,
title = {Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations},
author = {Yeachan Park and Geonho Hwang and Wonyeol Lee and Sejun Park},
journal= {arXiv preprint arXiv:2605.28704},
year = {2026}
}