通过密度引导自适应选择 CNN 与 Transformer 估计变密度人群计数
计算机视觉与模式识别
2022-10-17 v2
摘要
在真实世界人群计数应用中，图像中的人群密度差异很大。面对密度变化，人类倾向于定位并计数低密度区域中的目标，并推断高密度区域中的数量。我们观察到 CNN 使用固定大小卷积核关注局部信息关联，而 Transformer 可通过全局自注意力机制有效提取语义人群信息。因此，CNN 能在低密度区域准确位置并估计人群，却难以恰当感知高密度区域的密度。相反，Transformer 在高密度区域可靠性高，但无法定位稀疏区域中的目标。CNN 与 Transformer 均不能很好应对此类密度变化。为解决该问题，我们提出一种 CNN 与 Transformer 自适应选择网络（CTASNet），可针对不同密度区域自适应选择合适的计数分支。首先，CTASNet 生成 CNN 与 Transformer 的预测结果。然后，考虑到 CNN/Transformer 分别适用于低/高密度区域，设计了一个密度引导自适应选择模块来自动融合 CNN 与 Transformer 的预测。此外，为减小标注噪声的影响，我们引入了基于相关熵的最优传输损失。在四个具挑战性的人群计数数据集上的大量实验验证了所提方法。
引用
@article{arxiv.2206.10075,
title = {Counting Varying Density Crowds Through Density Guided Adaptive Selection CNN and Transformer Estimation},
author = {Yuehai Chen and Jing Yang and Badong Chen and Shaoyi Du},
journal= {arXiv preprint arXiv:2206.10075},
year = {2022}
}