中文

量力而行:基于异构集成的绿色在线学习

机器学习 2025-10-30 v2

摘要

用于流挖掘的集成方法需要管理多个模型,并随着数据分布的演变对其进行更新。考虑到对更高可持续性的呼声,现有方法对集成成员计算开销的考量不足,而是过度关注预测能力。为了应对这些挑战并实现绿色在线学习,我们提出了异构在线集成(HEROS)。在每一个训练步骤中,HEROS在资源约束下,从由不同超参数选择初始化的模型池中选择一个子集进行训练。我们引入马尔可夫决策过程来理论上刻画预测性能与可持续性约束之间的权衡。基于这一框架,我们提出了不同的策略来选择对传入数据进行训练的模型。最值得注意的是,我们提出了新颖的 ζ\zeta-policy,该策略专注于以更低的成本训练接近最优的模型。使用随机模型,我们从理论上证明,与表现最好的策略相比,我们的 ζ\zeta-policy 在使用更少资源的同时实现了接近最优的性能。在11个基准数据集上的实验中,我们找到了经验证据表明我们的 ζ\zeta-policy 是对当前技术水平的强有力补充,展现出高精度的性能,在某些情况下甚至优于竞争对手,同时更加资源友好。

关键词

引用

@article{arxiv.2509.18962,
  title  = {Lift What You Can: Green Online Learning with Heterogeneous Ensembles},
  author = {Kirsten Köbschall and Sebastian Buschjäger and Raphael Fischer and Lisa Hartung and Stefan Kramer},
  journal= {arXiv preprint arXiv:2509.18962},
  year   = {2025}
}