Wave-SAN：基于小波的风格增强网络用于跨域少样本学习
计算机视觉与模式识别
2022-03-16 v1
摘要
以往的少样本学习（FSL）工作大多局限于通用概念与类别的自然图像，这些工作假设源类与目标类之间具有极高的视觉相似性。相比之下，近期提出的跨域少样本学习（CD-FSL）旨在将知识从具有大量标注样本的通用自然图像迁移到仅含少量标注样本的新颖领域特定目标类别。CD-FSL 的关键挑战在于源域与目标域之间的巨大数据偏移，通常表现为完全不同的视觉风格。这使得直接将经典 FSL 方法扩展来解决 CD-FSL 任务变得非常困难。为此，本文通过扩展源数据集的风格分布来研究 CD-FSL 问题。特别地，引入小波变换将视觉表征分解为形状与风格等低频分量以及纹理等高频分量。为使模型对视觉风格具有鲁棒性，通过互换源图像低频分量的风格对其进行增强。我们提出一种新颖的风格增强（StyleAug）模块来实现该思路。此外，我们提出一种自监督学习（SSL）模块，以确保风格增强图像的预测与未改变图像的预测在语义上相似，从而避免交换风格中潜在的语义漂移问题。在两个 CD-FSL 基准上的大量实验表明了本方法的有效性。我们的代码与模型将公开发布。
引用
@article{arxiv.2203.07656,
title = {Wave-SAN: Wavelet based Style Augmentation Network for Cross-Domain Few-Shot Learning},
author = {Yuqian Fu and Yu Xie and Yanwei Fu and Jingjing Chen and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2203.07656},
year = {2022}
}