从预训练与数据增强视角对分布偏移鲁棒性的实证研究
计算机视觉与模式识别
2022-05-26 v1 机器学习
摘要
近年来，机器学习模型在分布偏移下的性能一直是学界关注的焦点。当前多数方法从算法视角出发以提升对分布偏移的鲁棒性，即设计更好的训练算法以帮助在偏移测试分布中的泛化。本文从预训练与数据增强的视角研究分布偏移问题，这两个深度学习实践中的重要因素尚未被现有工作系统性地考察。通过在五个来自 WILDS 和 DomainBed 基准的重要分布偏移数据集上，使用五种不同学习算法评估七个预训练模型（包括自监督与有监督模式的 ResNets 和 ViT），我们提供了首个聚焦预训练与数据增强的全面实证研究。基于从 1,330 个模型获得的实证结果，我们给出以下主要观察：1) 若选取契合数据特性的合适预训练模型，ERM 结合数据增强可达到最先进性能；2) 在处理特定类型分布偏移时，专用算法在 ERM 基础上进一步提升鲁棒性，例如 GroupDRO 针对伪相关、CORAL 针对大规模分布外数据；3) 通过比较不同预训练模式、架构与数据规模，我们提供了关于分布偏移上预训练的新颖观察，为针对不同分布偏移设计或选择预训练策略提供启示。总之，我们的实证研究为经数据增强微调的广泛预训练模型提供了全面基线，并有望启发未来分布偏移研究中发掘预训练与数据增强之力的研究。
引用
@article{arxiv.2205.12753,
title = {An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation},
author = {Ziquan Liu and Yi Xu and Yuanhong Xu and Qi Qian and Hao Li and Rong Jin and Xiangyang Ji and Antoni B. Chan},
journal= {arXiv preprint arXiv:2205.12753},
year = {2022}
}