面向换衣行人重识别的掩码属性描述嵌入
计算机视觉与模式识别
2024-07-03 v3
摘要
换衣行人重识别（CC-ReID）旨在匹配长时间内更换服装的行人。CC-ReID 的核心挑战在于提取与服装无关的特征，如面部、发型、体型和步态。当前研究主要聚焦于利用多模态生物特征（如轮廓和素描）对体型进行建模，但未能充分利用原始 RGB 图像中隐藏的个人描述信息。考虑到存在某些在换衣后保持不变的属性描述，我们提出了一种掩码属性描述嵌入（MADE）方法，将个人视觉外观与属性描述统一用于 CC-ReID。具体而言，处理诸如颜色和类型等可变的服装敏感信息对有效建模构成挑战。为解决这一问题，我们掩码了通过属性检测模型提取的个人属性描述中的服装和颜色信息。掩码后的属性描述随后被连接并嵌入到不同层级的 Transformer 模块中，与图像的低级到高级特征相融合。该方法迫使模型丢弃服装信息。在多个 CC-ReID 基准数据集上进行了实验，包括 PRCC、LTCC、Celeb-reID-light 和 LaST。结果表明，MADE 有效利用了属性描述，提升了换衣行人重识别的性能，并与当前最优方法相比表现良好。代码可在 https://github.com/moon-wh/MADE 获取。
引用
@article{arxiv.2401.05646,
title = {Masked Attribute Description Embedding for Cloth-Changing Person Re-identification},
author = {Chunlei Peng and Boyu Wang and Decheng Liu and Nannan Wang and Ruimin Hu and Xinbo Gao},
journal= {arXiv preprint arXiv:2401.05646},
year = {2024}
}