基于标签的深度神经网络隐层单元间多样性度量：一种正则化方法
机器学习
2021-04-06 v2 人工智能
应用物理
机器学习
摘要
尽管深层结构保证了深度网络（DNNs）强大的表达能力，但也引发了严重的过拟合问题。为提升DNNs的泛化能力，已发展出许多策略来增强隐层单元间的多样性。然而，这些策略大多基于经验与启发式，既缺乏多样性度量的理论推导，也未明确建立多样性与泛化能力之间的联系。本文从信息论视角出发，通过将隐层对泛化能力的影响形式化为互信息，引入一种在有监督学习设定下描述隐层单元多样性的冗余新定义。我们证明了所定义冗余与泛化能力之间存在反向关系，即冗余的降低通常能提升泛化能力。实验表明，以该冗余作为正则化项的DNNs能有效减轻过拟合并降低泛化误差，这很好地支持了上述观点。
引用
@article{arxiv.2009.09161,
title = {Label-Based Diversity Measure Among Hidden Units of Deep Neural Networks: A Regularization Method},
author = {Chenguang Zhang and Yuexian Hou and Dawei Song and Liangzhu Ge and Yaoshuai Yao},
journal= {arXiv preprint arXiv:2009.09161},
year = {2021}
}