特征加权线性堆叠
机器学习
2009-11-04 v2 人工智能
摘要
堆叠等集成方法旨在通过混合多个机器学习模型的预测结果来提高预测准确率。近期研究表明，使用元特征（即描述数据集中每个样本的额外输入）可以提升集成方法的性能，但已报道的最大增益来自于需要大量调参和训练时间的非线性过程。在此，我们提出了一种线性技术，即特征加权线性堆叠（FWLS），它结合了元特征以提高准确率，同时保留了线性回归在速度、稳定性和可解释性方面的众所周知优势。FWLS使用系数线性地组合模型预测，这些系数本身是元特征的线性函数。该技术是最近结束的Netflix Prize竞赛中获得亚军团队解决方案的关键部分。在Netflix Prize协同过滤数据集上，证明了其相对于标准线性堆叠在准确率上有显著提高。
引用
@article{arxiv.0911.0460,
title = {Feature-Weighted Linear Stacking},
author = {Joseph Sill and Gabor Takacs and Lester Mackey and David Lin},
journal= {arXiv preprint arXiv:0911.0460},
year = {2009}
}
备注
17 pages, 1 figure, 2 tables