面向少样本细粒度视觉识别的鲁棒显著性感知蒸馏
计算机视觉与模式识别
2024-02-28 v3
摘要
用稀缺样本识别新颖子类别是计算机视觉中一个关键且具有挑战性的研究课题。现有文献通过基于局部的表示方法应对该挑战,这可能无法充分促进有意义的对象特定语义理解,导致对明显背景相关性的依赖。此外,它们主要依赖高维局部描述子构建复杂嵌入空间,可能限制泛化能力。为解决上述挑战,本文提出一种新颖模型——鲁棒显著性感知蒸馏(RSaD),用于少样本细粒度视觉识别。RSaD 通过显著性检测引入额外的显著性感知监督,引导模型聚焦于内在判别区域。具体而言,RSaD 利用显著性检测模型强调每个子类别的关键区域,为细粒度预测提供额外的对象特定信息。RSaD 以互学习范式通过两个对称分支迁移此类信息。此外,RSaD 利用区域间关系增强表示的丰富性,随后将突出细节总结为上下文嵌入以促进有效迁移,实现对新颖子类别的快速泛化。所提方法在三个广泛使用的基准上进行了实证评估,展示了其优越性能。
引用
@article{arxiv.2305.07180,
title = {Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition},
author = {Haiqi Liu and C. L. Philip Chen and Xinrong Gong and Tong Zhang},
journal= {arXiv preprint arXiv:2305.07180},
year = {2024}
}
备注
Accepted by IEEE Transactions on Multimedia