MHFC：用于少样本学习的多头特征协作
计算机视觉与模式识别
2021-11-09 v4
摘要
少样本学习（FSL）旨在解决数据稀缺问题。一个标准 FSL 框架由两个部分组成：（1）预训练。利用基类数据生成基于 CNN 的特征提取模型（FEM）。（2）元测试。应用训练好的 FEM 获取新类数据特征并识别它们。FSL 严重依赖于 FEM 的设计。然而，不同的 FEM 有着不同的侧重点。例如，某些可能更关注轮廓信息，而另一些可能特别强调纹理信息。单头特征仅是样本的单方面表示。除跨域的负面影响（例如，训练好的 FEM 无法完美适应新类）外，新类数据的分布与真实分布相比可能存在一定程度的偏差，这被称为分布偏移问题（DSP）。为解决 DSP，我们提出多头特征协作（MHFC）算法，其试图将多头特征（例如，从多种 FEM 提取的多个特征）投影到统一空间并融合以捕获更具判别性的信息。通常，首先我们引入子空间学习方法来将多头特征变换为对齐的低维表示。它通过学习具有更强判别力的特征来纠正 DSP，并克服不同头特征间度量尺度不一致的问题。然后，我们设计注意力模块来自动更新各头特征的组合权重。它综合考虑各视角的贡献并进一步提升特征的判别力。我们在五个基准数据集（含跨域实验）上评估所提方法，相较 SOTA 取得了 2.1%–7.8% 的显著提升。
引用
@article{arxiv.2109.07785,
title = {MHFC: Multi-Head Feature Collaboration for Few-Shot Learning},
author = {Shuai Shao and Lei Xing and Yan Wang and Rui Xu and Chunyan Zhao and Yan-Jiang Wang and Bao-Di Liu},
journal= {arXiv preprint arXiv:2109.07785},
year = {2021}
}
备注
Accepted by the 29th ACM International Conference on Multimedia (ACMMM) 2021