表示、比较与学习：一种面向类无关计数的相似性感知框架
计算机视觉与模式识别
2022-03-17 v1
摘要
类无关计数（CAC）旨在给定少量示例的情况下统计查询图像中的所有实例。一种标准流程是从示例中提取视觉特征并与查询图像进行匹配以推断物体数量。该流程中的两个关键组件是特征表示与相似性度量。现有方法要么采用预训练网络来表示特征，要么学习一个新的网络，同时应用具有固定内积的朴素相似性度量。我们发现这种范式会导致含噪的相似性匹配，从而损害计数性能。在本工作中，我们提出了一种相似性感知的 CAC 框架，联合学习表示与相似性度量。我们首先以一个称为双线性匹配网络（BMNet）的朴素基线实例化该框架，其关键组件是可学习的双线性相似性度量。为了进一步体现我们框架的核心，我们将 BMNet 扩展为 BMNet+，从三个方面对相似性进行建模：1）通过实例的自相似性来表示实例，以增强特征对类内变化的鲁棒性；2）动态比较相似性，以聚焦于每个示例的关键模式；3）从监督信号中学习，对匹配结果施加显式约束。在近期 CAC 数据集 FSC147 上的大量实验表明，我们的模型显著优于最先进的 CAC 方法。此外，我们还在车辆计数数据集 CARPK 上验证了 BMNet 与 BMNet+ 的跨数据集泛化能力。代码见 tiny.one/BMNet。
引用
@article{arxiv.2203.08354,
title = {Represent, Compare, and Learn: A Similarity-Aware Framework for Class-Agnostic Counting},
author = {Min Shi and Hao Lu and Chen Feng and Chengxin Liu and Zhiguo Cao},
journal= {arXiv preprint arXiv:2203.08354},
year = {2022}
}
备注
Accepted by CVPR 2022