SHADE：用于深度学习的基于信息的正则化
机器学习
2018-05-16 v1 机器学习
摘要
正则化是训练深度神经网络的一个重要问题。在本文中，我们提出了一种新的基于信息论的正则化方案，命名为 SHADE，即 SHAnnon DEcay。该方法的独创性在于定义了一个基于条件熵的先验，明确地将正则化器中不变表示的学习与数据拟合项中输入与标签之间相关性的学习解耦。我们的第二个贡献是推导出了与深度学习兼容的正则化器的随机版本，从而产生了一个可处理的训练方案。我们在几种标准架构上实证验证了我们的方法在提升分类性能方面的有效性，并与标准正则化方案进行了比较。
引用
@article{arxiv.1805.05814,
title = {SHADE: Information-Based Regularization for Deep Learning},
author = {Michael Blot and Thomas Robert and Nicolas Thome and Matthieu Cord},
journal= {arXiv preprint arXiv:1805.05814},
year = {2018}
}
备注
IEEE International Conference on Image Processing (ICIP) 2018. arXiv admin note: substantial text overlap with arXiv:1804.10988