具有信息先验的动态正则化器
计算机视觉与模式识别
2019-11-01 v1 机器学习
机器学习
摘要
正则化方法，特别是像 和 那样直接改变权重的那些，是许多学习算法不可或缺的组成部分。上述两种正则化器均通过在参数空间中假设特定先验而构建，且这些假设在某些情况下会诱导参数空间中的稀疏性。正则化器通过在损失函数中引入适当项，来传递对数据集或参数空间的信念。任何一种形式化都代表一组特定的信念： 正则化传达参数空间应当稀疏，而 正则化传达参数空间应当有界且连续。这些正则化器转而利用某些先验来表达这些内在信念。更好地理解先验如何影响参数行为，以及先验如何基于数据集更新，可极大提升函数估计器的泛化能力。本工作中，我们引入一个弱信息先验，并进一步将其扩展为信息先验，以构建一种正则化惩罚项；与仅基于高斯和拉普拉斯先验的正则化器相比，其在诱导稀疏性方面实验上表现出更优结果。我们通过实验验证，基于自适应先验的正则化器可改善任意网络的泛化能力。我们在 MNIST 和 CIFAR-10 数据集上展示了所提方法的性能。
引用
@article{arxiv.1910.14241,
title = {Dynamic Regularizer with an Informative Prior},
author = {Avinash Kori and Manik Sharma},
journal= {arXiv preprint arXiv:1910.14241},
year = {2019}
}