不变性在基于谱复杂度的泛化界中的作用
机器学习
2020-03-10 v2 机器学习
摘要
深度卷积神经网络（CNN）已被证明能够对数据上的随机标签过拟合，同时仍能在正常标签上良好泛化。最近有人提出通过复杂度的后验度量来描述 CNN 容量，以应对这一明显悖论。这些复杂度度量通常通过显示其与泛化误差（GE）经验相关来验证；对于在随机标签与正常标签上训练的网络，其经验值更大。聚焦于谱复杂度情形，我们从理论和经验上研究该复杂度度量对 CNN 相关不变性的不敏感性，并展示由此产生的谱复杂度的若干局限性。对于谱复杂度的一种特定表述，我们证明其对卷积架构和局部连接架构（二者不具有相同有利不变性性质）给出了相同的上界复杂度估计。这与通常直觉和经验结果相反。
引用
@article{arxiv.1905.09677,
title = {The role of invariance in spectral complexity-based generalization bounds},
author = {Konstantinos Pitas and Andreas Loukas and Mike Davies and Pierre Vandergheynst},
journal= {arXiv preprint arXiv:1905.09677},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:1801.00171