用于细粒度少样本图像分类的双向特征重构网络
计算机视觉与模式识别
2023-01-10 v2
摘要
细粒度少样本图像分类的主要挑战在于仅利用极少标注样本学习具有更高类间差异和更低类内差异的特征表示。然而，常规少样本学习方法无法被直接用于该细粒度设定——一项快速的预实验表明，它们实际上推动了相反的方向（即更低的类间差异和更高的类内差异）。为缓解此问题，已有工作主要利用支持集重构查询图像，再通过度量学习判定其类别。经细致考察，我们进一步发现此类单向重构方法仅有助于增大类间差异，而不能有效应对类内差异。本文首次引入一种双向重构机制，可同时兼顾类间与类内差异。除利用支持集重构查询集以增大类间差异外，我们进一步利用查询集重构支持集以减小类内差异。该设计有效帮助模型探索更细微且具判别性的特征，而这正是当前细粒度问题的关键。此外，我们还构建了一个自重构模块与双向模块协同工作，使特征更具判别性。在三个广泛使用的细粒度图像分类数据集上的实验结果一致显示出相较于其他方法的显著改进。代码见：https://github.com/PRIS-CV/Bi-FRN。
引用
@article{arxiv.2211.17161,
title = {Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification},
author = {Jijie Wu and Dongliang Chang and Aneeshan Sain and Xiaoxu Li and Zhanyu Ma and Jie Cao and Jun Guo and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2211.17161},
year = {2023}
}
备注
Accepted in AAAI-23