通过频率感知提示探索跨域小样本分类
计算机视觉与模式识别
2024-06-25 v1 人工智能
摘要
随着元学习的发展，跨域小样本学习取得了长足进步。然而，现有大多数方法更注重通过特征层面的操作或增加任务多样性来学习域自适应归纳偏置（元知识），却忽略了深度网络倾向于依赖高频线索做出分类决策的现象。由于高频信息脆弱且易受噪声信息干扰，这会降低所学归纳偏置的鲁棒性。因此，在本文中，我们做出了首批尝试之一，提出了一种带有互注意力的频率感知提示方法用于跨域小样本分类，该方法能使网络在面对新识别任务时模拟人类视觉感知以选择不同的频率线索。具体而言，首先提出了一种频率感知提示机制，将分解后的源图像的高频分量替换为正态分布采样或置零，以获得频率感知增强样本。然后，设计了一个互注意力模块来学习 CD-FSL 设置下可泛化的归纳偏置。更重要的是，所提出的方法是一个即插即用模块，可直接应用于大多数现成的 CD-FSL 方法。在 CD-FSL 基准上的实验结果证明了我们提出方法的有效性，并稳健地提升了现有 CD-FSL 方法的性能。资源见 https://github.com/tinkez/FAP_CDFSC。
引用
@article{arxiv.2406.16422,
title = {Exploring Cross-Domain Few-Shot Classification via Frequency-Aware Prompting},
author = {Tiange Zhang and Qing Cai and Feng Gao and Lin Qi and Junyu Dong},
journal= {arXiv preprint arXiv:2406.16422},
year = {2024}
}