基于自适应分辨率 SAM 的鲁棒零样本人群计数与定位

现有的人群计数模型需要大量的训练数据，标注这些数据非常耗时。为了解决这个问题，我们提出了一种简单而有效的人群计数方法，利用 Segment-Everything-Everywhere Model (SEEM)（Segmentation Anything Model (SAM) 的一种改编）来生成用于训练人群计数模型的伪标签。然而，我们的初步调查显示，SEEM 在密集人群场景中的性能有限，主要是由于高密度区域遗漏了许多人。为了克服这一限制，我们提出了一种自适应分辨率 SEEM 来处理人群场景中的尺度变化、遮挡和人员重叠。与此同时，我们引入了一种基于高斯混合模型的鲁棒定位方法，用于预测所生成的人员掩膜中的头部位置。鉴于掩膜和点伪标签，我们提出了一种鲁棒损失函数，旨在根据 SEEM 的预测排除不确定区域，从而增强计数网络的训练过程。最后，我们提出了一种生成伪标签的迭代方法。该方法旨在通过识别高密度区域中更多通常在第一轮伪标签阶段被遗漏的微小人员来提高分割掩膜的质量。总体而言，我们提出的方法在人群计数中实现了最佳的无监督性能，同时与一些有监督方法的结果相当。这使得它成为一种高效且多功能的人群计数工具，特别是在没有标注数据的情况下。