通过定向增强实现域外鲁棒性
机器学习
2024-02-07 v3 计算机视觉与模式识别
摘要
在一个域集合上训练的模型通常在未见域上出现性能下降，例如当野生动物监测模型部署到新的相机位置时。本工作中，我们研究用于域外（OOD）泛化的数据增强设计原则。我们特别关注某些域相关特征具有鲁棒性的真实场景，即一些跨域变化的特征对 OOD 具有预测性。例如，在上述野生动物监测应用中，图像背景随相机位置变化但指示栖息地类型，这有助于预测所拍摄动物的物种。受线性设定下理论分析的启发，我们提出定向增强，其有选择地随机化虚假的域相关特征，同时保留鲁棒特征。我们证明定向增强能改善 OOD 性能，使模型以更少的域更好地泛化。相比之下，现有方法如通用增强（未能随机化域相关特征）和域不变增强（随机化所有域相关特征）在 OOD 下均表现不佳。在三个真实数据集上的实验中，我们表明定向增强以 3.2-15.2 个百分点的优势确立了 OOD 性能的新的 SOTA。
引用
@article{arxiv.2302.11861,
title = {Out-of-Domain Robustness via Targeted Augmentations},
author = {Irena Gao and Shiori Sagawa and Pang Wei Koh and Tatsunori Hashimoto and Percy Liang},
journal= {arXiv preprint arXiv:2302.11861},
year = {2024}
}