用于多模态步态识别的多阶段自适应特征融合神经网络
计算机视觉与模式识别
2023-12-25 v1
摘要
步态识别是一种受到广泛关注的生物识别技术。大多数现有的步态识别算法是单模态的，少数多模态步态识别算法仅执行一次多模态融合。这些算法均未能充分利用多种模态的互补优势。在本文中，考虑到步态数据的时间和空间特征，我们提出了一种多阶段特征融合策略 (MSFFS)，该策略在特征提取过程的不同阶段执行多模态融合。此外，我们提出了一种自适应特征融合模块 (AFFM)，该模块考虑了轮廓与骨架之间的语义关联。融合过程将不同的轮廓区域与其相关性更强的骨架关节进行融合。由于视觉外观变化和时间流逝在步态周期中共同发生，我们提出了一种多尺度时空特征提取器 (MSSTFE) 以彻底学习时空关联特征。具体而言，MSSTFE 在不同空间尺度上提取并聚合时空关联信息。结合上述策略和模块，我们提出了一种多阶段自适应特征融合 (MSAFF) 神经网络，该网络在三个数据集上的多项实验中表现出最先进 (SOTA) 的性能。此外，MSAFF 配备了特征维度池化 (FD Pooling)，可以在不阻碍准确性的情况下显著降低步态表示的维度。https://github.com/ShinanZou/MSAFF
引用
@article{arxiv.2312.14410,
title = {A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait Recognition},
author = {Shinan Zou and Jianbo Xiong and Chao Fan and Shiqi Yu and Jin Tang},
journal= {arXiv preprint arXiv:2312.14410},
year = {2023}
}
备注
This paper has been accepted by IJCB2023