感知多样性的锐度最小化不可知集成
机器学习
2024-03-21 v1 计算机视觉与模式识别
机器学习
摘要
长期以来，一直有大量的理论和实证证据支持集成学习的成功。特别是深度集成利用了单个神经网络的训练随机性和表达能力来获得预测多样性，最终带来更好的泛化能力、鲁棒性和不确定性估计。在泛化方面，人们发现追求更宽的局部极小值会使模型对训练集和测试集之间的偏移更加鲁棒。从这两种方法中自然产生了一个研究问题：如果将集成学习与损失锐度最小化相结合，是否可以实现泛化能力的提升。我们的工作研究了这一联系，并提出了 DASH——一种在深度集成中促进多样性和平坦度的学习算法。更具体地说，DASH 鼓励基础学习器以发散的方式向最小锐度的低损失区域移动。我们为我们的方法提供了理论支撑，以及广泛的实证证据，证明了集成泛化能力的改进。
引用
@article{arxiv.2403.13204,
title = {Diversity-Aware Agnostic Ensemble of Sharpness Minimizers},
author = {Anh Bui and Vy Vo and Tung Pham and Dinh Phung and Trung Le},
journal= {arXiv preprint arXiv:2403.13204},
year = {2024}
}