基于多跳时间切换的野外步态识别

现有的步态识别研究主要集中于实验室场景。由于人们生活在真实世界中，野外步态识别是一个更实际的问题，近年来引起了多媒体与计算机视觉领域的关注。当前在实验室基准上取得最优性能的方法，在近期提出的野外数据集上准确率大幅下降，因为这些方法难以对无约束场景中步态序列的多变时间动态进行建模。因此，本文提出一种新颖的多跳时间切换方法，以实现真实世界场景下步态模式的有效时间建模。具体而言，我们设计了一种名为多跳时间切换网络（MTSGait）的新型步态识别网络，以同时学习空间特征与多尺度时间特征。与现有使用三维卷积进行时间建模的方法不同，我们的MTSGait通过二维卷积对步态序列的时间动态进行建模。由此，与基于三维卷积的模型相比，它以更少的模型参数实现了高效率，并降低了优化难度。基于二维卷积核的特定设计，我们的方法能够消除相邻帧间特征的错误对齐。此外，提出了一种新的采样策略，即非循环连续采样，以使模型学习更鲁棒的时间特征。最后，与最优方法相比，所提方法在两个公开野外步态数据集（即GREW和Gait3D）上取得了更优性能。