面向分布外泛化的多样性权重平均
计算机视觉与模式识别
2023-01-30 v2 人工智能
机器学习
摘要
标准神经网络在计算机视觉中难以在分布偏移下泛化。幸运的是,组合多个网络可以持续地改善分布外泛化。特别地,权重平均(WA)策略在具有竞争力的 DomainBed 基准上表现最佳;尽管存在非线性,它们直接对多个网络的权重取平均。本文提出 Diverse Weight Averaging (DiWA),一种新的 WA 策略,其主要动机是增加平均模型之间的函数多样性。为此,DiWA 对若干独立训练得到的权重取平均:事实上,由于超参数和训练过程的差异,不同训练轮次得到的模型比单次训练过程中收集的模型更具多样性。我们通过期望误差的一种新的偏差-方差-协方差-局部性分解来论证多样性的必要性,该分解利用了 WA 与标准函数集成之间的相似性。此外,该分解强调 WA 在方差项占主导时取得成功,我们证明这在测试时边际分布发生变化的情况下会出现。在实验上,DiWA 在 DomainBed 上持续刷新了 SOTA,且无需推理开销。
引用
@article{arxiv.2205.09739,
title = {Diverse Weight Averaging for Out-of-Distribution Generalization},
author = {Alexandre Ramé and Matthieu Kirchmeyer and Thibaud Rahier and Alain Rakotomamonjy and Patrick Gallinari and Matthieu Cord},
journal= {arXiv preprint arXiv:2205.09739},
year = {2023}
}
备注
36 pages, 16 figures, 15 tables