密集点至掩膜优化与强化点选择用于人群实例分割
计算机视觉与模式识别
2026-04-03 v1
摘要
人群实例分割是一项具有广泛应用的关键任务，包括监控和交通领域。目前，点标注在人群数据集中较为常见，而区域标注（如边界框）稀少且不准确。分割获得的掩膜有助于提高区域标注的精度，并解决个体位置坐标与人群密度图之间的对应关系。然而，直接应用当前流行的大型基础模型（如 SAM）在密集人群中无法取得理想结果。为此，我们首先提出密集点至掩膜优化（DPMO），将 SAM 与最近邻独占圆（NNEC）约束相结合，从点标注生成密集实例分割。通过 DPMO 与人工校正，我们从现有点标注中获取传统人群数据集的掩膜标注。然后，为预测密集人群中的人群实例分割，我们提出强化点选择（RPS）框架，采用组相对策略优化（GRPO）进行训练，从初始点预测的采样中选择最佳预测点。通过广泛实验，我们在 ShanghaiTech、UCF-QNRF、JHU-CROWD++ 和 NWPU-Crowd 数据集上实现了最先进的人群实例分割性能。此外，我们设计了由掩膜监督的新损失函数，在不同模型上提升了计数性能，展示了掩膜标注在增强计数精度中的显著作用。
引用
@article{arxiv.2604.01742,
title = {Dense Point-to-Mask Optimization with Reinforced Point Selection for Crowd Instance Segmentation},
author = {Hongru Chen and Jiyang Huang and Jia Wan and Antoni B. Chan},
journal= {arXiv preprint arXiv:2604.01742},
year = {2026}
}