面向随时线性预测的高效特征组排序
机器学习
2016-12-07 v4
摘要
我们考虑常见机器学习设置中的\textit{随时}线性预测问题，其中特征被划分为具有成本的组。通过对特征组的计算进行排序，并在中断时使用已计算的特征报告结果，我们实现了随时（或可中断）预测。我们将正交匹配追踪 (OMP) 和前向回归 (FR) 扩展至此带成本的分组设置，以贪婪地学习排序策略。我们从理论上保证，当选择一个特征组时，我们的算法在每个预算下都能实现接近最优的线性预测。通过对 OMP 的新颖分析，我们将其理论界改进至与 FR 相同的强度。此外，我们开发了一种新算法，该算法消耗的成本来近似\textit{任意}成本下的最优性能，并证明了在成本小于时，此类近似是不可能的。据我们所知，这是首次给出涵盖\textit{所有}预算的随时界限。我们在两个真实世界数据集上测试了我们的算法，并针对随时线性预测性能，将其与成本加权 Group Lasso 及其他贪婪算法进行了评估。
引用
@article{arxiv.1409.5495,
title = {Efficient Feature Group Sequencing for Anytime Linear Prediction},
author = {Hanzhang Hu and Alexander Grubb and J. Andrew Bagnell and Martial Hebert},
journal= {arXiv preprint arXiv:1409.5495},
year = {2016}
}
备注
Published in UAI 2016, Proceedings of the Thirty-Second Conference on Uncertainty in Artificial Intelligence, UAI 2016