RADIN：预算约束下的模型汤调制
机器学习
2024-02-01 v1 计算机视觉与模式识别
摘要
模型汤(Model Soups)扩展了随机权重平均(SWA)，它结合了使用不同超参数微调的模型。然而，由于子集选择问题带来的计算挑战，其应用受到阻碍。在本文中，我们提出通过使用平均集成logits性能来近似模型汤的性能，从而加速模型汤的构建。理论洞见验证了集成logits与权重平均模型汤在任何混合比例下的一致性。我们提出的资源调整型模型汤调制(RADIN)程序因其允许灵活的评估预算而脱颖而出，使用户能够根据自身资源调整探索预算，同时与之前的贪婪方法相比，在更低预算下提升性能（在ImageNet上最高提升4%）。
引用
@article{arxiv.2401.17790,
title = {RADIN: Souping on a Budget},
author = {Thibaut Menes and Olivier Risser-Maroix},
journal= {arXiv preprint arXiv:2401.17790},
year = {2024}
}