可细分函数的神经网络逼近
机器学习
2021-07-29 v1
摘要
在量化神经网络在深度学习及其他应用中的成功之需驱动下,人们高度关注理解哪些函数能被神经网络的输出高效逼近。迄今为止,已有大量结果表明,广泛的函数可被这些输出以有时令人惊讶的精度逼近。例如,已知能被以指数精度(就所用参数数量而言)逼近的函数集合,一方面包含非常光滑的函数如多项式与解析函数(见例如 \cite{E,S,Y}),另一方面包含非常粗糙的函数如 Weierstrass 函数(见例如 \cite{EPGB,DDFHP}),后者处处不可微。本文将可细分函数加入后一类粗糙函数中。具体而言,我们表明可细分函数可被具有固定宽度与递增深度的深度 ReLU 网络输出以关于其参数数量呈指数的精度逼近。我们的结果适用于小波标准构造中使用的函数,也适用于计算机辅助几何设计中通过细分算法构造的函数。
引用
@article{arxiv.2107.13191,
title = {Neural Network Approximation of Refinable Functions},
author = {Ingrid Daubechies and Ronald DeVore and Nadav Dym and Shira Faigenbaum-Golovin and Shahar Z. Kovalsky and Kung-Ching Lin and Josiah Park and Guergana Petrova and Barak Sober},
journal= {arXiv preprint arXiv:2107.13191},
year = {2021}
}