深度逼近空间的采样复杂度
机器学习
2023-12-22 v1 信息论
泛函分析
math.IT
机器学习
摘要
尽管众所周知神经网络具有出色的逼近能力，但从点样本中计算此类逼近仍是一个巨大挑战。基于信息复杂度的工具，Grohs 和 Voigtlaender [Journal of the FoCM (2023)] 的工作开发了一个严格的框架来评估这种所谓的“理论与实践差距”。更准确地说，该工作表明，存在一些函数可以被具有 ReLU 激活函数的神经网络以任意速率逼近，但其数值计算却需要数量（在输入维度上）呈指数增长的样本。本研究通过证明 ReQU 激活函数的类似结果来扩展这些发现。
引用
@article{arxiv.2312.13379,
title = {Sampling Complexity of Deep Approximation Spaces},
author = {Ahmed Abdeljawad and Philipp Grohs},
journal= {arXiv preprint arXiv:2312.13379},
year = {2023}
}