掩码图像作为鲁棒微调的反事实样本
计算机视觉与模式识别
2023-04-04 v3 机器学习
摘要
深度学习模型面临训练数据与测试数据之间分布偏移的挑战。近来，在多样化数据上预训练的大模型展现出对各种分布偏移前所未有的鲁棒性。然而，微调这些模型会导致分布内（ID）性能与分布外（OOD）鲁棒性之间的权衡。现有应对此权衡的方法未显式解决 OOD 鲁棒性问题。本文基于对上述问题的因果分析，提出一种新颖的微调方法，其使用掩码图像作为反事实样本以帮助提升微调模型的鲁棒性。具体而言，我们基于类激活图掩码图像中与语义相关或无关的图像块以打破虚假关联，并用其他图像的块填充被掩码块。所得反事实样本用于基于特征的知识蒸馏中，与预训练模型进行蒸馏。大量实验验证，用所提掩码图像正则化微调能在 ID 与 OOD 性能间取得更好权衡，在 OOD 性能上超越先前方法。我们的代码见 https://github.com/Coxy7/robust-finetuning。
引用
@article{arxiv.2303.03052,
title = {Masked Images Are Counterfactual Samples for Robust Fine-tuning},
author = {Yao Xiao and Ziyi Tang and Pengxu Wei and Cong Liu and Liang Lin},
journal= {arXiv preprint arXiv:2303.03052},
year = {2023}
}
备注
Accepted by CVPR 2023 (v2: improve the clarity; v3: camera ready version)