用泄漏封顶范数正则化器学习稀疏视觉表示
机器学习
2017-11-09 v1 人工智能
计算机视觉与模式识别
数值分析
机器学习
摘要
稀疏诱导正则化是学习过完备视觉表示的重要部分。尽管 正则化广受欢迎,本文研究了非凸正则化在该问题中的使用。我们的贡献包括三部分。首先,我们提出泄漏封顶范数正则化(leaky capped norm regularization, LCNR),其对低于某一阈值的模型权重施加更强正则化,高于阈值的则较弱,从而强加强稀疏性且仅引入可控的估计偏差。我们提出一种优化联合目标函数的大化-最小化(majorization-minimization)算法。其次,我们在单目 3D 形状恢复及带 LCNR 的神经网络上的研究优于 及其他非凸正则化,取得了最先进(state-of-the-art)性能与更快收敛。第三,我们证明了 3D 恢复问题上的理论全局收敛速度。据我们所知,这是 3D 恢复问题的首个收敛性分析。
引用
@article{arxiv.1711.02857,
title = {Learning Sparse Visual Representations with Leaky Capped Norm Regularizers},
author = {Jianqiao Wangni and Dahua Lin},
journal= {arXiv preprint arXiv:1711.02857},
year = {2017}
}