基于再生核巴拿赫空间的神经网络对偶性
泛函分析
2023-03-14 v3 机器学习
摘要
再生核希尔伯特空间（RKHS）在机器学习诸多领域是一种非常成功的工具。近来，Barron 空间已被用于证明神经网络的泛化误差界。遗憾的是，由于权重的强非线性耦合，Barron 空间无法借助 RKHS 来理解。这可以通过使用更一般的再生核巴拿赫空间（RKBS）来解决。我们证明这些 Barron 空间属于一类积分 RKBS。该类也可理解为 RKHS 空间的无限并。此外，我们证明此类 RKBS 的对偶空间仍是一个 RKBS，其中数据与参数的角色互换，构成一个包含再生核的 RKBS 伴随对。这使我们能够构造神经网络的鞍点问题，其可用于原对偶优化的整个领域。
引用
@article{arxiv.2211.05020,
title = {Duality for Neural Networks through Reproducing Kernel Banach Spaces},
author = {Len Spek and Tjeerd Jan Heeringa and Felix Schwenninger and Christoph Brune},
journal= {arXiv preprint arXiv:2211.05020},
year = {2023}
}