StyleAdv：面向跨域小样本学习的元风格对抗训练
计算机视觉与模式识别
2023-05-09 v2
摘要
跨域小样本学习（CD-FSL）是最近兴起的一项任务，旨在解决不同领域间的小样本学习问题。它旨在将源数据集上学习到的先验知识迁移到新的目标数据集。CD-FSL 任务尤其受到不同数据集之间巨大领域差距的挑战。关键的是，这种领域差距实际上源于视觉风格的变化，而 wave-SAN 通过实验表明，扩展源数据的风格分布有助于缓解这一问题。然而，wave-SAN 仅仅是交换两幅图像的风格。这种简单的操作使得生成的风格“真实”且“简单”，仍然属于源风格的原始集合。因此，受普通对抗学习的启发，我们为 CD-FSL 提出了一种新颖的、与模型无关的元风格对抗训练（StyleAdv）方法，以及一种新颖的风格对抗攻击方法。特别地，我们的风格攻击方法为模型训练合成了“虚拟”且“困难”的对抗风格。这是通过使用带符号的风格梯度扰动原始风格来实现的。通过持续攻击风格并迫使模型识别这些具有挑战性的对抗风格，我们的模型逐渐对视觉风格变得鲁棒，从而提升了对新目标数据集的泛化能力。除了典型的基于 CNN 的主干网络，我们还将 StyleAdv 方法应用于大规模预训练的视觉Transformer。在八个不同的目标数据集上进行的大量实验证明了我们方法的有效性。无论是基于 ResNet 还是 ViT，我们都实现了 CD-FSL 的最新最优性能。代码可在 https://github.com/lovelyqian/StyleAdv-CDFSL 获取。
引用
@article{arxiv.2302.09309,
title = {StyleAdv: Meta Style Adversarial Training for Cross-Domain Few-Shot Learning},
author = {Yuqian Fu and Yu Xie and Yanwei Fu and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2302.09309},
year = {2023}
}
备注
accepted by CVPR 2023