基于2D-3D对应探索形状嵌入用于换装行人重识别
计算机视觉与模式识别
2023-10-31 v1
摘要
换装行人重识别（CC-ReID）是一个常见且现实的问题，因为时尚随时间不断变化，人们的审美偏好也并非一成不变。虽然大多数现有换装ReID方法侧重于从粗粒度语义线索（如剪影和部件分割图）学习衣物无关的身份表征，但它们忽视了像素层面的连续形状分布。本文提出连续表面对应学习（CSCL），一种用于换装ReID的新形状嵌入范式。CSCL通过像素到顶点的分类，在2D图像平面与规范3D身体表面之间建立连续对应，从而自然地将行人图像对齐到3D人体模型表面，并同时获得逐像素的表面嵌入。我们进一步从学到的表面嵌入中提取细粒度形状特征，并通过精心设计的跨模态融合模块将其与全局RGB特征整合。基于2D-3D对应的形状嵌入范式显著增强了模型对人体形状的全局理解。为推动换装下ReID的研究，我们构建了3D Dense Persons（DP3D），这是首个提供密集标注的2D-3D对应以及每幅行人图像精确3D网格的大规模换装ReID数据集，同时包含四季中多样的换装情形。在换装与同装ReID基准上的实验验证了我们所提方法的有效性。
引用
@article{arxiv.2310.18438,
title = {Exploring Shape Embedding for Cloth-Changing Person Re-Identification via 2D-3D Correspondences},
author = {Yubin Wang and Huimin Yu and Yuming Yan and Shuyi Song and Biyang Liu and Yichong Lu},
journal= {arXiv preprint arXiv:2310.18438},
year = {2023}
}
备注
Accepted by ACM MM 2023