适时退出:基于排序优化的集成模型高效评估
机器学习
2018-07-02 v1 机器学习
摘要
给定一个分类器集成和一组待分类样本,许多样本在仅评估集成中部分基模型后即可被自信且准确地分类。这能在保持原集成高精度的同时降低平均延迟与 CPU 消耗。为实现此类收益,我们提出联合优化基模型的固定评估顺序与早停阈值。所提目标为组合优化问题,但我们给出了一种贪心算法,在特定情形下可达到最优解 4 倍近似。对这些情形,除非 ,该界也是多项式时间可达的最佳近似界。在基准与真实世界问题上的实验表明,所提 Quit When You Can (QWYC) 算法可将平均评估时间加速 x--x,且比先前工作快约 x。QWYC 对顺序与阈值的联合优化在实验中也优于多种固定顺序,包括梯度提升树的顺序。
引用
@article{arxiv.1806.11202,
title = {Quit When You Can: Efficient Evaluation of Ensembles with Ordering Optimization},
author = {Serena Wang and Maya Gupta and Seungil You},
journal= {arXiv preprint arXiv:1806.11202},
year = {2018}
}