用于弱监督一步式行人搜索的深度图像内对比学习
计算机视觉与模式识别
2024-01-09 v1
摘要
弱监督行人搜索旨在仅利用行人边界框标注来执行联合行人检测与重识别（re-id）。近来，对比学习的思想被初步应用于弱监督行人搜索，其中两种常见的对比策略是基于记忆的对比和图像内对比。我们认为当前的图像内对比较为浅层，受到空间层级和遮挡层级方差的困扰。本文中，我们提出一种使用孪生网络的新型深度图像内对比学习。两个关键模块为空间不变对比（SIC）和遮挡不变对比（OIC）。SIC在孪生网络的两个分支之间执行多对一对比，并在孪生网络的一个分支内执行密集预测对比。借助这些多对一与密集对比，SIC倾向于学习具有判别性的尺度不变与位置不变特征，以解决空间层级方差。OIC通过掩码策略增强特征一致性，以学习遮挡不变特征。我们在两个行人搜索数据集CUHK-SYSU和PRW上分别进行了充分实验。我们的方法在弱监督一步式行人搜索方法中取得了最先进（state-of-the-art）性能。我们希望这种简单的图像内对比学习能为弱监督行人搜索提供更多范式。源代码见 \url{https://github.com/jiabeiwangTJU/DICL}。
引用
@article{arxiv.2302.04607,
title = {Deep Intra-Image Contrastive Learning for Weakly Supervised One-Step Person Search},
author = {Jiabei Wang and Yanwei Pang and Jiale Cao and Hanqing Sun and Zhuang Shao and Xuelong Li},
journal= {arXiv preprint arXiv:2302.04607},
year = {2024}
}
备注
10 pages, 6 figures