基于深度信息的遮挡不变旋转等变半监督跨视角步态姿态估计
计算机视觉与模式识别
2021-09-06 v1
摘要
从深度图像中准确估计三维人体骨架可为医疗健康应用提供重要指标，尤其用于生物力学步态分析。然而，单视角采集的深度图像存在固有难题：所采集数据受遮挡影响严重，仅能记录部分表面信息；此外，人体深度图像随视角变化呈现异质特性，局部坐标系下估计的姿态预期经历等变旋转。现有多数姿态估计模型对这两类问题均较敏感。为此，我们提出一种基于新型旋转等变骨干网络的遮挡不变半监督学习框架，以实现跨视角泛化。我们的模型使用单视角的真实世界数据与多视角无标注合成数据训练，能够对其他所有未见的真实世界视角数据良好泛化。在 ICL-Gait 数据集上，我们的方法在步态分析中表现优于其他 SOTA 方法；在 ITOP 数据集上，其生成的关键点比所提供的“真值”更具说服力。
引用
@article{arxiv.2109.01397,
title = {Occlusion-Invariant Rotation-Equivariant Semi-Supervised Depth Based Cross-View Gait Pose Estimation},
author = {Xiao Gu and Jianxin Yang and Hanxiao Zhang and Jianing Qiu and Frank Po Wen Lo and Yao Guo and Guang-Zhong Yang and Benny Lo},
journal= {arXiv preprint arXiv:2109.01397},
year = {2021}
}