定点算术下量化神经网络的表达能力
机器学习
2026-01-21 v2 机器学习
摘要
现有关于神经网络表达能力的研究通常假设实数参数和精确运算。在本工作中，我们研究了在离散定点参数和具有舍入误差的不精确定点运算下量化网络的表达能力。我们首先给出了量化网络能够表示从定点向量到定点数的所有定点函数的必要条件和充分条件，这些条件涉及定点算术和激活函数。然后，我们证明了多种常见激活函数满足我们的充分条件，例如Sigmoid、ReLU、ELU、SoftPlus、SiLU、Mish和GELU。换句话说，使用这些激活函数的网络能够表示所有定点函数。我们进一步表明，在激活函数满足一定条件（例如，存在定点数使得）时，我们的必要条件与充分条件是一致的。即，我们为一大类激活函数找到了充要条件。最后，我们证明即使使用二值权重的量化网络，对于实际激活函数也能表示所有定点函数。
引用
@article{arxiv.2409.00297,
title = {On Expressive Power of Quantized Neural Networks under Fixed-Point Arithmetic},
author = {Yeachan Park and Sejun Park and Geonho Hwang},
journal= {arXiv preprint arXiv:2409.00297},
year = {2026}
}