等变网络的 PAC-Bayesian 泛化界
机器学习
2022-10-25 v1 机器学习
摘要
等变网络通过将对称性构建到模型中来捕获学习任务关于对称性的归纳偏置。本文利用等变网络的 PAC-Bayesian 分析研究等变性如何与泛化误差相关联，其中特征空间的变换规律由群表示决定。通过对每一层等变网络在傅里叶域的扰动分析，我们推导了基于范数的 PAC-Bayesian 泛化界。该界刻画了群大小、不可约表示的重数（multiplicity）与次数（degree）对泛化误差的影响，从而为其选择提供指导。总体而言，该界表明在模型中使用更大的群大小可改善泛化误差，这一点得到了大量数值实验的证实。
引用
@article{arxiv.2210.13150,
title = {A PAC-Bayesian Generalization Bound for Equivariant Networks},
author = {Arash Behboodi and Gabriele Cesa and Taco Cohen},
journal= {arXiv preprint arXiv:2210.13150},
year = {2022}
}
备注
41 pages, 15 figures, accepted at NeurIPS 2022