改进无标志单摄人体运动捕捉中的脚部运动重建
计算机视觉与模式识别
2026-03-11 v1
摘要
最先进的方法可从野外视频中恢复准确的3D人体运动. 但它们往往无法捕捉脚部的细粒度关节运动, 这对于步态分析和动画等应用至关重要. 这种限制源于训练数据集中脚部标注不准确且脚部运动多样性有限. 我们通过 FootMR(脚部运动细化方法)弥补了这一差距, 该方法通过将2D脚部关键点序列提升至3D来细化现有人体恢复模型估计的脚部运动. 通过避免直接输入图像, FootMR规避了图像-3D标注不准确的问题, 能够利用大规模运动捕捉数据. 为解决2D到3D提升的歧义, FootMR将膝关节和脚部运动作为上下文, 仅预测残差脚部运动. 通过采用全局而非相对(父级)旋转表示关节, 并应用广泛的数据增强, 改进了对极端脚位的泛化. 为支持脚部运动重建的评估, 我们引入 MOOF, 一个包含复杂脚部运动的2D数据集. 在 MOOF、MOYO 和 RICH 数据集上的实验表明, FootMR 超过了最先进的方法, 在 MOYO 上踝关节角度误差可降低最高30%.
引用
@article{arxiv.2603.09681,
title = {Improving 3D Foot Motion Reconstruction in Markerless Monocular Human Motion Capture},
author = {Tom Wehrbein and Bodo Rosenhahn},
journal= {arXiv preprint arXiv:2603.09681},
year = {2026}
}
备注
Accepted at the 2026 International Conference on 3D Vision (3DV)