局部独立预测模型的集成
机器学习
2020-02-10 v3 机器学习
摘要
集成依赖于多样性以提升性能。因此，许多集成训练方法试图优化多样性，它们几乎总是根据训练集预测的差异来定义多样性。然而，在本文中，我们证明训练集上预测的差异并不一定意味着在温和协变量偏移下的多样性，这会在实际环境中损害泛化能力。为解决此问题，我们引入了一种新的多样性度量以及相关的集成训练方法，使模型在数据流形的局部块上以不同方式外推。在各种合成和真实世界任务中，我们发现我们的方法以质上新颖的方式改善了泛化和多样性，尤其在数据受限和协变量偏移下。
引用
@article{arxiv.1911.01291,
title = {Ensembles of Locally Independent Prediction Models},
author = {Andrew Slavin Ross and Weiwei Pan and Leo Anthony Celi and Finale Doshi-Velez},
journal= {arXiv preprint arXiv:1911.01291},
year = {2020}
}
备注
This is an expansion of arXiv:1806.08716 with different applications and focus, accepted to AAAI 2020. Latest update clarifies a derivation