基于商特征空间的群不变/等变深度网络泛化界改进
机器学习
2021-06-22 v3 机器学习
摘要
众多不变（或等变）神经网络已成功处理点云与图等不变数据。然而，由于网络规模与间隔分布等理论关键因素尚未与不变性和等变性深度关联，此类神经网络的泛化理论尚不完善。本研究为不变与等变深度神经网络建立了一种新颖的泛化误差界。为刻画不变性与等变性对泛化的影响，我们提出了“商特征空间”这一概念，用以度量群作用对相关性质的影响。我们的主要结果证明，商特征空间的体积能够描述泛化误差。此外，该界表明不变性与等变性显著改善了界的首项。我们将结果应用于 DeepSets（Zaheer et al. (2017)）等具体的不变与等变网络，表明其泛化界被 大幅改善，其中 为置换数。我们还讨论了不变深度神经网络的表达能力，证明其可达到最优逼近速率。我们的实验结果支持了我们的理论论断。
引用
@article{arxiv.1910.06552,
title = {Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces},
author = {Akiyoshi Sannai and Masaaki Imaizumi and Makoto Kawano},
journal= {arXiv preprint arXiv:1910.06552},
year = {2021}
}
备注
Old title: "Improved Generalization Bound of Permutation Invariant Deep Neural Networks"