学习差异化特征有益处:理论证明
机器学习
2023-06-14 v3 计算机视觉与模式识别
摘要
我们研究用最小二乘损失训练的两层神经网络所学特征的多样性。我们通过隐藏层特征间的平均 距离来衡量多样性,并从理论上探究学习非冗余的差异特征如何影响网络性能。为此,我们基于 Rademacher 复杂度推导了依赖于特征多样性的此类网络的新泛化界。我们的分析证明,隐藏层单元处更差异的特征会带来更好的泛化能力。我们还展示了如何将结果扩展到更深网络与不同损失。
引用
@article{arxiv.2106.06012,
title = {Learning distinct features helps, provably},
author = {Firas Laakom and Jenni Raitoharju and Alexandros Iosifidis and Moncef Gabbouj},
journal= {arXiv preprint arXiv:2106.06012},
year = {2023}
}
备注
17 pages, 3 figure