RemoCap：面向动作捕捉的解缠表示学习
计算机视觉与模式识别
2024-05-22 v1
摘要
从真实运动序列中重建三维人体仍因普遍且复杂的遮挡而具有挑战性。现有方法难以捕捉被遮挡身体部位的动态，导致模型穿透和运动畸变。RemoCap利用空间解缠（SD）和运动解缠（MD）来克服这些限制。SD通过沿维度轴解缠目标特征，解决目标人体与周围物体之间的遮挡干扰。通过根据每个维度中特征的空间位置对齐特征，SD在全局窗口内隔离目标物体的响应，从而在遮挡情况下实现精确捕捉。MD模块采用通道维度的时序混洗策略来模拟多样的场景动态。该过程有效解缠运动特征，使RemoCap能够以更高保真度重建被遮挡部分。此外，本文引入序列速度损失以促进时间一致性。该损失约束帧间速度误差，确保预测运动表现出真实的一致性。在基准数据集上与最先进方法（SOTA）的广泛比较表明，RemoCap在三维人体重建中具有优越性能。在3DPW数据集上，RemoCap超越所有竞争者，在MPVPE（81.9）、MPJPE（72.7）和PA-MPJPE（44.1）指标上取得最佳结果。代码见https://wanghongsheng01.github.io/RemoCap/。
引用
@article{arxiv.2405.12724,
title = {RemoCap: Disentangled Representation Learning for Motion Capture},
author = {Hongsheng Wang and Lizao Zhang and Zhangnan Zhong and Shuolin Xu and Xinrui Zhou and Shengyu Zhang and Huahao Xu and Fei Wu and Feng Lin},
journal= {arXiv preprint arXiv:2405.12724},
year = {2024}
}