贪心凸集成
机器学习
2020-05-05 v2 机器学习
摘要
我们考虑学习基模型的凸组合，并给出一些新的理论与经验结果，证明了贪心方法的有效性。理论上，我们首先考虑能否使用线性组合而非凸组合，并获得了与现有从凸包学习相近的泛化结果。我们得到一个负面结果：即便非常简单的基函数的线性包也可能具有无界容量，从而易于过拟合；另一方面，凸包仍然丰富但具有有界容量。其次，我们针对一类通用的Lipschitz损失函数给出了泛化界。在经验上，我们首先讨论如何通过早停贪心学习凸组合，以及当基模型数量已知时如何非贪心地学习凸组合。我们的实验表明，贪心方案具有与若干基线（包括boosting和random forests）相当或更优的性能。该贪心算法几乎不需要超参数调优，且似乎能适应问题内在的复杂度。我们的代码见 https://github.com/tan1889/gce。
引用
@article{arxiv.1910.03742,
title = {Greedy Convex Ensemble},
author = {Tan Nguyen and Nan Ye and Peter L. Bartlett},
journal= {arXiv preprint arXiv:1910.03742},
year = {2020}
}
备注
Replace the previous version with the camera ready version accepted for IJCAI 2020