量化与未量化 ReLU 神经网络的逼近速度及更一般情形
信息论
2022-10-10 v2 神经与进化计算
math.IT
摘要
我们处理关于 ReLU 网络逼近性质的两个互补问题。首先，我们研究具有实值权重的 ReLU 网络的均匀量化如何影响其逼近性质。我们建立了保持与未量化 ReLU 网络相同多项式渐近逼近速度所需的每坐标最小比特数的上界。我们还刻画了 ReLU 网络最近邻均匀量化的误差。这是通过使用将 ReLU 网络参数与其实现相关联的映射的 Lipschitz 常数新下界以及推广经典结果的上界来实现的。其次，我们研究 ReLU 网络何时可以期望（或不能期望）具有优于其他经典逼近族的逼近性质。事实上，若干逼近族共有以下局限：它们对任意集合的多项式渐近逼近速度由上界不超过该集合的编码速度所限制。我们引入逼近族的一个新抽象性质，称为无限可编码性（infinite-encodability），它蕴含该上界。许多以字典或 ReLU 网络定义的经典逼近族被证明是无限可编码的。这统一并推广了已知该上界的若干情形。
引用
@article{arxiv.2205.11874,
title = {Approximation speed of quantized vs. unquantized ReLU neural networks and beyond},
author = {Antoine Gonon and Nicolas Brisebarre and Rémi Gribonval and Elisa Riccietti},
journal= {arXiv preprint arXiv:2205.11874},
year = {2022}
}