SHADE：基于信息论的正则化方法用于深度学习
机器学习
2018-05-23 v4 机器学习
摘要
正则化是训练深度神经网络的一个重大问题。在本文中，我们提出了一种名为SHADE（SHAnnon DEcay，香农衰减）的基于信息论的新正则化方案。该方法的新颖之处在于定义了一个基于条件熵的先验，其显式地将正则化项中不变表示的学习与数据拟合项中输入与标签之间相关性的学习解耦。我们的第二个贡献是推导了与深度学习兼容的正则化项的随机版本，从而产生了一种可处理的训练方案。我们在多个标准架构上通过实验验证了我们的方法相较于常见正则化方案在提升分类性能方面的有效性。
引用
@article{arxiv.1804.10988,
title = {SHADE: Information Based Regularization for Deep Learning},
author = {Michael Blot and Thomas Robert and Nicolas Thome and Matthieu Cord},
journal= {arXiv preprint arXiv:1804.10988},
year = {2018}
}