点、分割与计数：一种通用的目标计数框架
计算机视觉与模式识别
2024-03-28 v3
摘要
类无关目标计数旨在依据示例框或类名对图像中的所有目标进行计数，即少样本与零样本计数。本文中，我们提出一种基于检测的、面向少样本与零样本目标计数的通用框架。我们的框架结合了两种基础模型的优越优势且不损害其零样本能力：(\textbf{i}) SAM 分割所有潜在目标作为掩码提议，以及 (\textbf{ii}) CLIP 对提议分类以获得准确目标计数。然而，该策略面临效率开销以及无法定位与区分的小且密集目标的障碍。为解决这些问题，我们的框架称为 PseCo，遵循三步：点、分割与计数。具体而言，我们首先提出类无关目标定位以提供准确且最少的点提示给 SAM，从而不仅降低计算成本，也避免遗漏小目标。此外，我们提出一种通用目标分类，利用 CLIP 图像/文本嵌入作为分类器，遵循分层知识蒸馏以在分层掩码提议间获得判别性分类。在 FSC-147、COCO 与 LVIS 上的大量实验结果表明，PseCo 在少样本/零样本目标计数/检测中均达到最先进（SOTA）性能。代码：https://github.com/Hzzone/PseCo
引用
@article{arxiv.2311.12386,
title = {Point, Segment and Count: A Generalized Framework for Object Counting},
author = {Zhizhong Huang and Mingliang Dai and Yi Zhang and Junping Zhang and Hongming Shan},
journal= {arXiv preprint arXiv:2311.12386},
year = {2024}
}
备注
Accepted by CVPR 2024. Camera ready