面向自然场景中通用目标计数部分监督的研究
计算机视觉与模式识别
2020-09-04 v2
摘要
自然场景中的通用目标计数是一项具挑战性的计算机视觉问题。现有方法要么依赖实例级监督，要么依赖绝对计数信息来训练通用目标计数器。我们引入一种部分监督设定，显著降低了通用目标计数所需的监督程度。我们提出两个称为下计数（LC）与简化下计数（RLC）的新框架，以在该设定下实现目标计数。我们的框架构建于一种具有图像分类分支与密度分支的新型双分支架构之上。我们的 LC 框架通过对所有目标类别仅使用下计数监督，降低了图像中多实例导致的标注成本。我们的 RLC 框架进一步通过对数据集类别子集仅使用下计数监督、对其余类别使用类标签，降低了数据集中大量目标类别带来的标注成本。RLC 框架通过一种新颖的权重调制层与类别无关密度图预测扩展了我们的双分支 LC 框架。实验在 COCO、Visual Genome 与 PASCAL 2007 数据集上进行。我们的框架在使用更高监督程度的现有最优方法相当的性能下表现持平。此外，我们展示了经 LC 监督的密度图在图像级监督实例分割中的适用性。
引用
@article{arxiv.1912.06448,
title = {Towards Partial Supervision for Generic Object Counting in Natural Scenes},
author = {Hisham Cholakkal and Guolei Sun and Salman Khan and Fahad Shahbaz Khan and Ling Shao and Luc Van Gool},
journal= {arXiv preprint arXiv:1912.06448},
year = {2020}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2020. First two authors contributed equally. Corresponding author: Guolei Sun. This work is a journal extension of our CVPR 2019 paper arXiv:1903.02494