面向基于视频的人体再识别的高效且有效的脉冲背板
计算机视觉与模式识别
2025-01-29 v1
摘要
本文提出一种新型高效且有效的可插入式脉冲背板，用于视频基于人体再识别(ReID)。传统的视频基于ReID方法通常使用CNN或transformer背板从每个采样视频帧的每个位置提取深层特征。我们认为，这种穷尽式特征提取可能是不必要的，因为我们发现ReID视频中的不同帧往往 exhibits 小差异且包含许多相似区域，由于人类运动相对较小。受此启发，本文探索了一种更具选择性、更高效的范式。具体而言，我们引入一种脉冲选择机制，通过选择仅提取关键且非重复的脉冲来降低计算成本。此外，我们提出了一种新型网络结构，用于生成和利用伪帧全局上下文，以解决稀疏输入导致的视角不完整问题。通过融入这些新设计，我们的脉冲背板能够实现高性能和低计算成本。在多个数据集上的大量实验表明，我们的方法相对于ViT-B的计算成本降低74%，相对于ResNet50降低28%，而准确率与ViT-B持平且显著优于ResNet50。
引用
@article{arxiv.2501.16811,
title = {Not Every Patch is Needed: Towards a More Efficient and Effective Backbone for Video-based Person Re-identification},
author = {Lanyun Zhu and Tianrun Chen and Deyi Ji and Jieping Ye and Jun Liu},
journal= {arXiv preprint arXiv:2501.16811},
year = {2025}
}
备注
IEEE TIP