基于扩散模型的目标计数问题数据增强
计算机视觉与模式识别
2024-01-26 v1
摘要
由于在图像理解中的广泛应用，人群计数是计算机视觉中的一个重要问题。目前，该问题通常使用深度学习方法来解决，例如卷积神经网络（CNN）和 Transformer。然而，深度网络是数据驱动的且容易过拟合，尤其是在可用的标注人群数据集有限时。为了克服这一限制，我们设计了一个利用扩散模型生成大量训练数据的流程。我们首次使用扩散模型生成以位置点图（指定人头位置的二元点图）为条件的图像。我们也是首次使用这些多样化的合成数据来增强人群计数模型。我们提出的平滑密度图输入显著提高了 ControlNet 在正确位置生成人群的性能。同时，我们提出的扩散模型计数损失有效最小化了位置点图与生成的人群图像之间的差异。此外，我们创新的引导采样进一步引导扩散过程向生成人群图像与位置点图最准确对齐的区域进行。综合而言，我们增强了 ControlNet 从位置点图生成指定目标的能力，这可用于各种计数问题的数据增强。此外，我们的框架具有通用性，可轻松适应各种计数问题。大量实验表明，我们的框架提高了在 ShanghaiTech、NWPU-Crowd、UCF-QNRF 和 TRANCOS 数据集上的计数性能，展示了其有效性。
关键词
引用
@article{arxiv.2401.13992,
title = {Diffusion-based Data Augmentation for Object Counting Problems},
author = {Zhen Wang and Yuelei Li and Jia Wan and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:2401.13992},
year = {2024}
}