DART：多样化-聚合-重复训练提升神经网络的泛化能力
机器学习
2023-06-13 v2 人工智能
计算机视觉与模式识别
摘要
神经网络的泛化对于其在现实世界中的安全部署至关重要。改善泛化的常见训练策略涉及数据增强、集成和模型平均。在这项工作中，我们首先建立了一个令人惊讶地简单但强大的泛化基准，该基准在训练小批量内利用多样化增强，并表明这可以学习到更均衡的特征分布。进一步，我们提出多样化-聚合-重复训练（DART）策略，该策略首先使用不同增强（或域）训练多样化模型以探索损失盆地，进而聚合它们的权重以结合各自专长并获得改善的泛化。我们发现，在整个训练过程中重复聚合步骤可改善整体优化轨迹，并确保单个模型具有足够低的损失屏障，从而在结合时获得改善的泛化。我们通过在 Shen 等人提出的框架中阐释该方法，并从理论上证明它确实具有更好的泛化能力。除域内泛化的提升外，我们还在流行的 DomainBed 框架中的域泛化基准上展示了 SOTA 性能。我们的方法是通用的，可轻松与多种基础训练算法集成以实现性能增益。
引用
@article{arxiv.2302.14685,
title = {DART: Diversify-Aggregate-Repeat Training Improves Generalization of Neural Networks},
author = {Samyak Jain and Sravanti Addepalli and Pawan Sahu and Priyam Dey and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2302.14685},
year = {2023}
}
备注
CVPR 2023. First two authors contributed equally