深度神经网络对不变函数的逼近能力与复杂度研究
机器学习
2022-10-28 v1 人工智能
摘要
近年来，深度神经网络在各个领域掀起热潮，但其理论基础尚未得到充分理解。深度神经网络的理论刻画应阐明其逼近能力与复杂度，即指出何种架构与规模足以处理所关注的任务。本文通过从理论上研究深度神经网络对不变函数的逼近与复杂度，朝此方向迈出一步。我们首先证明不变函数可由深度神经网络普遍逼近。随后，我们展示广泛类别的不变函数可通过多种神经网络模型（包括复值神经网络、卷积神经网络和贝叶斯神经网络）使用多项式数量的参数或优化迭代次数进行渐近逼近。我们还提供了一个可行的应用，将高分辨率信号的参数估计与预测同我们的理论结论联系起来。在仿真实验中获得的实证结果证明了我们方法的有效性。
引用
@article{arxiv.2210.15279,
title = {On the Approximation and Complexity of Deep Neural Networks to Invariant Functions},
author = {Gao Zhang and Jin-Hui Wu and Shao-Qun Zhang},
journal= {arXiv preprint arXiv:2210.15279},
year = {2022}
}