TOP-ReID：基于 Token 置换的多光谱目标重识别
计算机视觉与模式识别
2023-12-18 v1 多媒体
摘要
多光谱目标重识别（ReID）旨在通过利用来自不同图像光谱的互补信息来检索特定目标。在复杂的视觉环境中，它比传统的单光谱 ReID 具有巨大优势。然而，不同图像光谱之间显著的分布差异对有效的多光谱特征表示提出了巨大挑战。此外，当前大多数基于 Transformer 的 ReID 方法仅利用类 token 的全局特征来实现整体检索，忽略了局部的判别性特征。为了解决上述问题，我们进一步利用 Transformer 的所有 token，提出了一种用于多光谱目标重识别的循环 token 置换框架，命名为 TOP-ReID。更具体地说，我们首先部署了一个基于视觉 Transformer 的多流深度网络，以保留来自不同图像光谱的独特信息。然后，我们提出了一个 Token 置换模块（TPM），用于循环多光谱特征聚合。它不仅促进了不同图像光谱之间的空间特征对齐，还允许每个光谱的类 token 感知其他光谱的局部细节。同时，我们提出了一个互补重构模块（CRM），引入了密集的 token 级重构约束，以减少不同图像光谱之间的分布差异。借助上述模块，我们提出的框架能够生成更具判别性的多光谱特征，以实现鲁棒的目标重识别。在三个 ReID 基准数据集（即 RGBNT201、RGBNT100 和 MSVR310）上的大量实验验证了我们方法的有效性。代码可在 https://github.com/924973292/TOP-ReID 获取。
引用
@article{arxiv.2312.09612,
title = {TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation},
author = {Yuhao Wang and Xuehu Liu and Pingping Zhang and Hu Lu and Zhengzheng Tu and Huchuan Lu},
journal= {arXiv preprint arXiv:2312.09612},
year = {2023}
}
备注
This work is accepted by AAAI2024