Back-to-Bones：重新认识骨干网络在域泛化中的作用
计算机视觉与模式识别
2023-05-10 v2 机器学习
摘要
域泛化（DG）研究深度学习模型泛化到训练分布之外分布的能力。在过去十年中，文献中充斥着大量声称能获得更抽象和鲁棒的数据表示以应对域偏移的训练方法。近期研究提供了可复现的DG基准，指出朴素经验风险最小化（ERM）相对于现有算法的有效性。然而，研究者仍坚持使用相同的过时特征提取器，且尚未关注不同骨干网络的影响。在本文中，我们回到骨干网络，对其被研究界忽视的固有泛化能力提出全面分析。我们评估了从标准残差方案到基于transformer架构的多种特征提取器，发现了大规模单域分类精度与DG能力之间明显的线性相关性。我们广泛的实验表明，通过采用有竞争力的骨干网络并结合有效的数据增强，普通ERM优于近期DG方案并达到最先进的精度。此外，我们额外的定性研究揭示，新颖的骨干网络为同类样本提供了更相似的特征表示，在特征空间中分离不同域。这种泛化能力的提升使DG算法的边际空间很小。它提出了研究该问题的新范式，将骨干网络置于聚光灯下，并鼓励在其之上开发一致的算法。代码可在 https://github.com/PIC4SeR/Back-to-Bones 获取。
引用
@article{arxiv.2209.01121,
title = {Back-to-Bones: Rediscovering the Role of Backbones in Domain Generalization},
author = {Simone Angarano and Mauro Martini and Francesco Salvetti and Vittorio Mazzia and Marcello Chiaberge},
journal= {arXiv preprint arXiv:2209.01121},
year = {2023}
}