CLIP-EBC：通过增强块状分类实现 CLIP 的精确计数
计算机视觉与模式识别
2025-11-20 v3
摘要
我们提出了 CLIP-EBC，即首个完全基于 CLIP 的用于精确人群密度估计的模型。虽然 CLIP 模型在解决如零样本图像分类等识别任务方面已显示出惊人的成功，但其向计数任务的潜力鲜有探索，原因在于将回归问题（如计数）转化为识别任务存在固有挑战。本文我们关注并提升了 CLIP 的计数能力，具体针对从图像估计人群规模的任务。现有基于分类的人群计数框架存在显著局限，包括将计数值量化为相邻实值箱位，以及仅关注分类误差。这些做法导致共享箱位边界处的标签模糊，以及计数值预测不准确。因此，直接将 CLIP 应用于这些框架可能表现次佳。为解决这些挑战，我们首先提出了增强块状分类 (EBC) 框架。与先前方法不同，EBC 采用整数值箱位，有效减少箱位边界附近的模糊不清。此外，它还 Incorporates 基于密度图的回归损失以提高计数值预测。我们在完全灵活的 EBC 框架内引入了 CLIP-EBC，以充分发挥 CLIP 的识别能力。大量实验表明，EBC 的有效性以及 CLIP-EBC 的竞争性能。具体而言，我们的 EBC 框架可使基于分类的方法在 UCF-QNRF 数据集上提升最高达 44.5%，而 CLIP-EBC 在 NWPU-Crowd 测试集上实现最先进性能，MAE 为 58.2，RMSE 为 268.5，分别比当前最佳方法 STEERER 提升 8.6% 和 13.3%。代码和模型权重已公开于 https://github.com/Yiming-M/CLIP-EBC。
引用
@article{arxiv.2403.09281,
title = {CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification},
author = {Yiming Ma and Victor Sanchez and Tanaya Guha},
journal= {arXiv preprint arXiv:2403.09281},
year = {2025}
}
备注
This is the author's accepted manuscript. The final version is published in ICME 2025