PASTA：用于合成到真实域泛化的比例幅度谱训练增强
计算机视觉与模式识别
2023-09-26 v4 人工智能
机器学习
图像与视频处理
摘要
合成数据在标注真实世界数据稀缺的场景下，有望提供廉价且丰富的训练数据。然而，在合成数据上训练的模型在真实世界数据上评估时表现显著下降。本文提出比例幅度谱训练增强（PASTA），一种简单有效的增强策略，用于提升开箱即用的合成到真实（syn-to-real）泛化性能。PASTA在傅里叶域中扰动合成图像的幅度谱以生成增强视图。具体而言，PASTA提出了一种结构化扰动策略，其中高频分量相比低频分量受到相对更多的扰动。在语义分割（GTAV到真实）、目标检测（Sim10K到真实）和物体识别（VisDA-C 合成到真实）任务中，跨越共5种合成到真实偏移，我们发现PASTA优于更复杂的state-of-the-art泛化方法，同时与它们互补。
引用
@article{arxiv.2212.00979,
title = {PASTA: Proportional Amplitude Spectrum Training Augmentation for Syn-to-Real Domain Generalization},
author = {Prithvijit Chattopadhyay and Kartik Sarangmath and Vivek Vijaykumar and Judy Hoffman},
journal= {arXiv preprint arXiv:2212.00979},
year = {2023}
}
备注
Accepted at ICCV 2023, Code: https://github.com/prithv1/PASTA