利用深度 Koopman 算子约束降低三维步态识别的训练需求
计算机视觉与模式识别
2023-08-16 v1
摘要
深度学习研究已使许多生物特征识别方案成为可能，但其需要海量训练数据以实现真实场景下的泛化。与人脸、耳朵等其他生物特征不同，步态样本难以从网络爬取以构成大规模无约束数据集。由于人体已针对不同数字应用被充分研究，可借助先验形状知识克服数据稀缺。本工作顺应近期趋势，使用深度神经网络将三维可变形人体模型拟合至步态视频，从而获取每帧解耦的形状与姿态表征。为在网络中强制时间一致性，我们引入基于 Koopman 算子理论的新型线性动力系统（LDS）模块与损失，其为步态周期性提供无监督运动正则化，并具备扩展步态序列的预测能力。我们将 LDS 与传统对抗训练方法比较，并使用 USF HumanID 与 CASIA-B 数据集表明，LDS 能用更少训练数据获得更高精度。最后，我们还展示了在正常、携包与换装条件下，我们的三维建模方法在克服视角变化方面远优于其他三维步态方法。
引用
@article{arxiv.2308.07468,
title = {Reducing Training Demands for 3D Gait Recognition with Deep Koopman Operator Constraints},
author = {Cole Hill and Mauricio Pamplona Segundo and Sudeep Sarkar},
journal= {arXiv preprint arXiv:2308.07468},
year = {2023}
}