用于神经网络模型的 Barron 空间与流诱导函数空间
机器学习
2021-03-30 v2 概率论
机器学习
摘要
机器学习模型分析中的关键问题之一是确定适合该模型的函数空间与范数。这是一组函数，其上赋予的量能够控制特定机器学习模型的逼近误差与估计误差。在本文中，我们针对两类代表性的神经网络模型——两层网络与残差神经网络——解决此问题。我们定义了 Barron 空间，并证明它是两层神经网络模型的正确空间，因为在 Barron 空间中的函数上成立最优的正向与逆向逼近定理。对于残差神经网络模型，我们构造了所谓的流诱导函数空间，并证明该空间的正向与逆向逼近定理。此外，我们证明了在这些范数下，有界集的 Rademacher 复杂度具有最优上界。
引用
@article{arxiv.1906.08039,
title = {The Barron Space and the Flow-induced Function Spaces for Neural Network Models},
author = {Weinan E and Chao Ma and Lei Wu},
journal= {arXiv preprint arXiv:1906.08039},
year = {2021}
}