面向少样本细粒度图像分类的物体感知长短程空间对齐
计算机视觉与模式识别
2021-08-31 v1
摘要
少样本细粒度图像分类的目标是在查询集中识别极少见的细粒度物体，且仅在支持集中给定该类的少量样本。先前工作聚焦于从有限训练样本学习判别性图像特征以区分各类细粒度物体，却忽略了一个重要事实：具有任意变化的查询图像与支持图像之间判别性语义特征的空间对齐，对于计算各支持-查询对的语义相似度同样关键。本工作中，我们提出一种物体感知长短程空间对齐方法，由前景物体特征增强（FOE）模块、长程语义对应（LSC）模块与短程空间处理（SSM）模块组成。FOE 用于削弱背景干扰并增强前景物体响应。为解决支持-查询图像对间的长程物体特征错位问题，LSC 通过所设计的特征相似性度量学习可迁移的长程语义对应。此外，SSM 模块用于在长程步骤后精炼变换后的支持特征，以将短程错位特征（或局部细节）与查询特征对齐。我们在四个基准数据集上进行了充分实验，结果表明在 1-shot 与 5-shot 分类场景下均优于多数 SOTA 方法。
引用
@article{arxiv.2108.13098,
title = {Object-aware Long-short-range Spatial Alignment for Few-Shot Fine-Grained Image Classification},
author = {Yike Wu and Bo Zhang and Gang Yu and Weixi Zhang and Bin Wang and Tao Chen and Jiayuan Fan},
journal= {arXiv preprint arXiv:2108.13098},
year = {2021}
}
备注
Accepted by ACM MM'21 (oral presentation)