从多种步态模态中探索更多用于人体识别
计算机视觉与模式识别
2024-12-17 v1
摘要
步态作为一种软生物特征，可以在远距离反映个体独特的行走模式，是一种有前景的无约束人体识别技术。通过很大程度上排除RGB视频中隐藏的步态无关线索，轮廓和骨架虽然视觉上紧凑，但长期以来一直作为两种最流行的步态模态。最近，一些尝试引入了更多信息性数据形式，如人体解析和光流图像，以捕捉步态特征，并采用多分支架构。然而，由于模型设计和实验设置的不一致性，我们认为在这些流行的步态模态之间，包括表示能力和融合策略探索，仍然缺乏全面和公平的比较研究。从细粒度与粗粒度形状以及整体与逐像素运动建模的角度，本文对三种流行的步态表示（即轮廓、人体解析和光流）进行了深入研究，并进行了各种融合评估，实验揭示了它们的异同。基于获得的见解，我们进一步开发了CFusion策略，从而构建了我们的新框架MultiGait++。CFusion保留共性同时突出差异，以丰富步态特征的学习。为了验证我们的发现和结论，在Gait3D、GREW、CCPG和SUSTech1K上进行了大量实验。代码可在https://github.com/ShiqiYu/OpenGait获取。
引用
@article{arxiv.2412.11495,
title = {Exploring More from Multiple Gait Modalities for Human Identification},
author = {Dongyang Jin and Chao Fan and Weihua Chen and Shiqi Yu},
journal= {arXiv preprint arXiv:2412.11495},
year = {2024}
}