浮点运算下ReLU和阶跃网络的表达能力
机器学习
2024-07-17 v2 人工智能
摘要
神经网络表达能力的研究探讨了神经网络的基本极限。大多数现有结果假设实值输入和参数以及神经网络评估期间的精确运算。然而，神经网络通常在只能表示实数微小子集并应用不精确运算的计算机上执行，即大多数现有结果不适用于实践中使用的神经网络。在这项工作中，我们分析了在更现实设置下神经网络的表达能力：当我们像实践中一样使用浮点数和运算时。我们的第一组结果假设浮点运算，其中浮点数的尾数由有限位表示，但其指数可以取任何整数值。在此设置下，我们证明使用二元阈值单元或ReLU的神经网络可以记忆任何有限输入/输出对，并且可以在任意误差内逼近任何连续函数。特别地，我们用于通用逼近和记忆的构造中的参数数量与假设精确数学运算的经典结果中的参数数量一致。我们还展示了当浮点运算对尾数和指数都使用有限位时的记忆和通用逼近的类似结果；这些结果适用于许多流行的浮点格式，例如IEEE 754标准中定义的格式（例如32位单精度格式）和bfloat16。
引用
@article{arxiv.2401.15121,
title = {Expressive Power of ReLU and Step Networks under Floating-Point Operations},
author = {Yeachan Park and Geonho Hwang and Wonyeol Lee and Sejun Park},
journal= {arXiv preprint arXiv:2401.15121},
year = {2024}
}