层级掩码增强双重建网络用于小样本细粒度图像分类
计算机视觉与模式识别
2025-06-26 v1
摘要
小样本细粒度图像分类提出了重大挑战，要求模型在有限标注样本的情况下区分视觉上相似的子类。现有方法存在关键局限性：基于度量的方法丢失空间信息并导致局部特征错位，而基于重建的方法未能利用层级特征信息，且缺乏关注判别区域的机制。我们提出了层级掩码增强双重建网络，该网络将双层特征重建与掩码增强特征处理相结合，以改进细粒度分类。层级掩码增强双重建网络包含一个双层特征重建与融合模块，该模块利用来自不同网络层级的互补视觉信息。通过可学习的融合权重，模型平衡了来自最后一层的高级语义表示与来自倒数第二层的中级结构细节。此外，我们设计了一个空间二值掩码增强的Transformer自重建模块，该模块通过自适应阈值处理查询特征，同时保持完整的支持特征，从而在过滤背景噪声的同时增强对判别区域的关注。在三个具有挑战性的细粒度数据集上进行的大量实验表明，层级掩码增强双重建网络在Conv-4和ResNet-12骨干架构上均持续优于最先进的方法。全面的消融研究验证了每个提出组件的有效性，揭示了双层重建增强了类间判别性，而掩码增强变换减少了类内变异。可视化结果提供了层级掩码增强双重建网络优越特征重建能力的证据。
引用
@article{arxiv.2506.20263,
title = {Hierarchical Mask-Enhanced Dual Reconstruction Network for Few-Shot Fine-Grained Image Classification},
author = {Ning Luo and Meiyin Hu and Huan Wan and Yanyan Yang and Zhuohang Jiang and Xin Wei},
journal= {arXiv preprint arXiv:2506.20263},
year = {2025}
}