用于表征学习的实例条件GAN数据增强
计算机视觉与模式识别
2023-03-20 v1
摘要
数据增强已成为训练最先进视觉表征模型的关键组成部分。然而，手工组合能提升性能的变换是一项费力的工作，且可能产生视觉上不真实的样本。为克服这些局限，近期工作探索了使用生成模型作为可学习的数据增强工具，在少样本学习和低数据量医学影像等狭窄应用领域中展现出有前景的结果。本文提出一种称为DA_IC-GAN的数据增强模块，其利用实例条件GAN生成，并可开箱即用地与大多数最先进训练方案结合使用。我们将DA_IC-GAN直接接入ImageNet数据集上ResNets和DeiT模型的有监督训练，以展示其优势，并在最高容量模型上实现了高达1%p至2%p的准确率提升。此外，当迁移至少数分布外数据集时，所学表征被证明比基线更具鲁棒性，并表现出对实例和视点变化的更强不变性。我们还将DA_IC-GAN与自监督训练方案结合，并表明在某些设置下我们同样能实现1%p的准确率提升。通过本工作，我们强化了可学习数据增强改善视觉表征学习潜力的证据，为模型训练中非手工增强铺平了道路。
引用
@article{arxiv.2303.09677,
title = {Instance-Conditioned GAN Data Augmentation for Representation Learning},
author = {Pietro Astolfi and Arantxa Casanova and Jakob Verbeek and Pascal Vincent and Adriana Romero-Soriano and Michal Drozdzal},
journal= {arXiv preprint arXiv:2303.09677},
year = {2023}
}
备注
TMLR reviews at https://openreview.net/forum?id=1n7q9mxG3T&referrer=%5BTMLR%5D(%2Fgroup%3Fid%3DTMLR)