多样性诱导互角度正则化下神经网络的泛化误差界
机器学习
2015-11-24 v1
摘要
近年来，针对潜变量模型（LVMs）的多样性诱导正则化方法（其鼓励LVMs中的分量具有多样性）已被研究，以解决潜变量建模中的若干问题：（1）如何捕获数据背后的长尾模式；（2）如何在不牺牲表达力的前提下降低模型复杂度；（3）如何提高所学模式的可解释性。尽管诸如互角度正则化器（MAR）之类的多样性诱导正则化器的有效性已在经验上得到证明，但对其严格的理论分析仍然缺失。本文旨在弥补这一差距，并分析互角度正则化器（MAR）如何影响监督式LVMs的泛化性能。我们使用神经网络（NN）作为模型实例开展研究，分析表明增加NN中隐藏单元的多样性会降低估计误差但增大近似误差。除理论分析外，我们还给出了实证研究，表明MAR能大幅改善NN的性能，且经验观测与理论分析一致。
引用
@article{arxiv.1511.07110,
title = {On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization},
author = {Pengtao Xie and Yuntian Deng and Eric Xing},
journal= {arXiv preprint arXiv:1511.07110},
year = {2015}
}