超越域鸿沟：在基于草图的人员检索中利用主观性
计算机视觉与模式识别
2023-09-18 v1 多媒体
摘要
行人重识别（re-ID）需要密集分布的摄像头。在实践中，感兴趣的人员可能未被摄像头捕获，因此需要使用主观信息（例如证人的草图）进行检索。先前的研究将这种情况定义为草图重识别（Sketch re-ID）并聚焦于消除域鸿沟。实际上，主观性是另一重大挑战。我们通过构建一个带有多位证人描述的新数据集对其建模并研究。其具有两方面特点。1）大规模。它包含超过 4,763 张草图和 32,668 张照片，是最大的 Sketch re-ID 数据集。2）多视角多风格。我们的数据集为每个身份提供多张草图。证人的主观认知提供对同一个体的多视角，而不同画师的绘画风格提供草图风格的变化。我们进一步提出两个新颖设计以缓解主观性挑战。1）融合主观性。我们提出一个非局部（NL）融合模块，汇集同一身份来自不同证人的草图。2）引入客观性。AttrAlign 模块利用属性作为隐式掩码对齐跨域特征。为推动 Sketch re-ID 发展，我们设置了三个基准（大规模、多风格、跨风格）。大量实验证明了我们在这些基准中的领先性能。数据集与代码公开于：https://github.com/Lin-Kayla/subjectivity-sketch-reid
引用
@article{arxiv.2309.08372,
title = {Beyond Domain Gap: Exploiting Subjectivity in Sketch-Based Person Retrieval},
author = {Kejun Lin and Zhixiang Wang and Zheng Wang and Yinqiang Zheng and Shin'ichi Satoh},
journal= {arXiv preprint arXiv:2309.08372},
year = {2023}
}
备注
ACM Multimedia 2023