TransCrowd：基于 Transformer 的弱监督人群计数方法
计算机视觉与模式识别
2022-09-09 v3
摘要
主流人群计数方法通常利用卷积神经网络（CNN）回归密度图，需要点级标注。然而，用点标注每个人是一个昂贵且费力的过程。在测试阶段，点级标注并不用于评估计数精度，这意味着点级标注是冗余的。因此，有必要开发仅依赖计数级标注的弱监督计数方法，这是一种更经济的标注方式。当前的弱监督计数方法采用 CNN 通过图像到计数的范式回归人群总数。然而，上下文建模的感受野有限是基于 CNN 的弱监督方法固有的局限性。这些方法因此无法取得令人满意的性能，在现实世界中的应用有限。Transformer 是自然语言处理（NLP）中一种流行的序列到序列预测模型，包含全局感受野。在本文中，我们提出 TransCrowd，它基于 Transformer 从序列到计数的角度重新表述了弱监督人群计数问题。我们观察到，所提出的 TransCrowd 能够通过利用 Transformer 的自注意力机制有效提取语义人群信息。据我们所知，这是首个采用纯 Transformer 进行人群计数研究的工作。在五个基准数据集上的实验表明，所提出的 TransCrowd 相比所有基于 CNN 的弱监督计数方法取得了更优的性能，并与一些流行的全监督计数方法相比获得了极具竞争力的计数性能。
引用
@article{arxiv.2104.09116,
title = {TransCrowd: weakly-supervised crowd counting with transformers},
author = {Dingkang Liang and Xiwu Chen and Wei Xu and Yu Zhou and Xiang Bai},
journal= {arXiv preprint arXiv:2104.09116},
year = {2022}
}
备注
Accepted by Science China Information Sciences (SCIS). Code is available at https://github.com/dk-liang/TransCrowd