正交贪婪学习中的贪婪准则
机器学习
2016-04-21 v1
摘要
正交贪婪学习（OGL）是一种逐步学习方案，它首先通过最速梯度下降（SGD）从指定字典中选择一个新原子，然后通过正交投影构建估计器。在本文中，我们发现 SGD 并非唯一的贪婪准则，并引入了一种新的贪婪准则，称为“-贪婪阈值”（-greedy threshold）用于学习。基于这一新贪婪准则，我们推导了 OGL 的自适应终止规则。我们的理论研究表明，新学习方案能够达到 OGL 现有的（近乎）最优学习率。提供了大量数值实验来证明新方案在达到近乎最优泛化性能的同时，所需计算量少于 OGL。
引用
@article{arxiv.1604.05993,
title = {Greedy Criterion in Orthogonal Greedy Learning},
author = {Lin Xu and Shaobo Lin and Jinshan Zeng and Xia Liu and Zongben Xu},
journal= {arXiv preprint arXiv:1604.05993},
year = {2016}
}
备注
12 pages, 6 figures. arXiv admin note: text overlap with arXiv:1411.3553