统一卷积与Transformer特征以提升人员重识别性能
计算机视觉与模式识别
2024-12-24 v1 信息检索
摘要
人员重识别（ReID）旨在跨非重叠摄像头检索特定人员，此技术可大幅助力智能交通系统。众所周知，卷积神经网络（CNN）和Transformer各自擅长提取局部与全局特征。鉴于此，本文聚焦于二者之间的相互融合，以学习人员更全面的表征。具体而言，我们利用来自不同模型结构的深度特征的互补集成。我们提出一种新颖的融合框架，称为FusionReID，以统一CNN和Transformer的优势用于基于图像的人员重识别。更具体地，我们首先部署双分支特征提取（DFE）从单张图像中通过CNN和Transformer提取特征。此外，我们设计了一种新颖的双注意力互动融合（DMF），以实现充分的特征融合。DMF由局部细化单元（LRU）和异构传输模块（HTM）组成。LRU利用深度可分离卷积在通道维度和空间尺寸上对齐深度特征。HTM包含共享编码单元（SEU）和两个互动融合单元（MFU）。通过HTM的持续堆叠，LRU之后的深度特征被重复利用以生成更具辨识力的特征。在三个公开ReID基准上的大量实验表明，我们的方法可优于大多数最新方法。源码已公开于https://github.com/924973292/FusionReID。
引用
@article{arxiv.2412.17239,
title = {Unity is Strength: Unifying Convolutional and Transformeral Features for Better Person Re-Identification},
author = {Yuhao Wang and Pingping Zhang and Xuehu Liu and Zhengzheng Tu and Huchuan Lu},
journal= {arXiv preprint arXiv:2412.17239},
year = {2024}
}
备注
Accepted by Trans. on ITS