正交贪婪学习中的贪婪度量
机器学习
2014-11-14 v1
摘要
正交贪婪学习（OGL）是一种逐步学习方案，它通过最速梯度下降从字典中添加新原子，并在每个贪婪步骤中通过将目标函数正交投影到所选原子张成的空间来构建估计量。此处，“贪婪”意指依据最速梯度下降原则选择新原子。OGL 随后通过选择合适的迭代次数来避免过拟合/欠拟合。在本文中，我们指出通过重新定义 OGL 中的“贪婪”亦可避免过拟合/欠拟合。为此，我们引入了一种新的贪婪度量，称为 -greedy thresholds，以细化“贪婪”并从理论上验证了其可行性。此外，我们揭示了这种贪婪度量能够在保持 OGL 显著学习性能的前提下，带来一种自适应终止规则。我们的结果表明，最速梯度下降并非 OGL 唯一的贪婪度量，某些其他更合适的度量或许能减少 OGL 模型选择的麻烦。
引用
@article{arxiv.1411.3553,
title = {Greedy metrics in orthogonal greedy learning},
author = {Lin Xu and Shaobo Lin and Jinshan Zeng and Zongben Xu},
journal= {arXiv preprint arXiv:1411.3553},
year = {2014}
}
备注
33 pages, 8 figures