平均集成：改进模型选择并提升域泛化性能
机器学习
2022-10-14 v4 计算机视觉与模式识别
摘要
在域泛化(DG)设定下，在给定训练域上独立训练的模型在分布偏移的测试域上性能 notoriously 混沌，且优化中的随机性(如种子)起很大作用。这使得深度学习模型在真实世界设定中不可靠。我们首先表明，这种混沌行为甚至存在于单一模型的训练优化轨迹中，并提出一种简单的模型平均协议，其通过改善域內验证精度与域外测试精度之间的秩相关性，显著提升了域泛化并减弱了随机性的影响，而该相关性对于可靠的早停至关重要。利用我们的观察，我们表明，不同于实践中典型的集成未平均模型，集成来自独立运行的移动平均模型(EoA)进一步提升了性能。我们通过将著名的偏差-方差权衡适配到域泛化设定，从理论上解释了集成与模型平均带来的性能提升。在 DomainBed 基准上，当使用预训练 ResNet-50 时，该平均集成取得了 的平均值，以约 优于朴素 ERM(无平均/集成)；当使用预训练 RegNetY-16GF 时，取得 的平均值，以 优于朴素 ERM。我们的代码见 https://github.com/salesforce/ensemble-of-averages。
引用
@article{arxiv.2110.10832,
title = {Ensemble of Averages: Improving Model Selection and Boosting Performance in Domain Generalization},
author = {Devansh Arpit and Huan Wang and Yingbo Zhou and Caiming Xiong},
journal= {arXiv preprint arXiv:2110.10832},
year = {2022}
}
备注
Accepted at NeurIPS 2022