PSDiff:基于迭代协同精炼的扩散模型行人搜索方法
计算机视觉与模式识别
2024-12-31 v3
摘要
主流行人搜索方法旨在统一网络中定位并识别查询行人,联合优化两个子任务,即行人检测与重识别(ReID)。尽管取得显著进展,当前方法面临两个主要挑战:1)检测器内学习的行人候选对 ReID 任务而言次优;2)忽视了两个子任务间潜在的协作可能。为解决这些问题,我们提出一种基于扩散模型的新型行人搜索框架 PSDiff。PSDiff 将行人搜索表述为从含噪框与 ReID 嵌入到真值的双重去噪过程。不同于传统的检测至 ReID 范式,我们的去噪范式弃用检测器生成的先验行人候选,从而规避 ReID 任务的局部最优问题。遵循新范式,我们进一步设计了一种新型协同去噪层(CDL),以迭代且协作的方式优化检测与 ReID 子任务,使二者互利。在标准基准上的大量实验表明,PSDiff 以更少参数与弹性计算开销取得了最先进性能。
引用
@article{arxiv.2309.11125,
title = {PSDiff: Diffusion Model for Person Search with Iterative and Collaborative Refinement},
author = {Chengyou Jia and Minnan Luo and Zhuohang Dang and Guang Dai and Xiaojun Chang and Jingdong Wang},
journal= {arXiv preprint arXiv:2309.11125},
year = {2024}
}