ORTexME：基于时序平均纹理与网格编码的遮挡鲁棒人体形状与姿态估计
计算机视觉与模式识别
2023-09-22 v1
摘要
在从单目视频进行三维人体形状与姿态估计时，使用有限标注数据训练的模型难以很好地泛化到包含遮挡的野外视频，而遮挡在野外视频中十分常见。近期聚焦于由现成人体形状与姿态方法初始化以进行新视角合成的人体神经渲染方法，有潜力修正初始人体形状。然而，现有方法存在一些缺陷，例如处理遮挡时易出错、对不准确的人体分割敏感，以及由于未正则化的不透明度场导致损失计算低效。为解决这些问题，我们提出 ORTexME，一种利用输入视频的时序信息以更好地正则化被遮挡身体部位的遮挡鲁棒时序方法。尽管 ORTexME 基于 NeRF，为确定 NeRF 光线采样的可靠区域，我们利用新颖的平均纹理学习方法学习人的平均外观，并基于平均纹理推断掩码。此外，为引导 NeRF 中的不透明度场更新以抑制模糊与噪声，我们提出使用人体网格。定量评估表明，我们的方法在具有挑战性的多人 3DPW 数据集上取得显著改进，其中我们的方法实现了 1.8 P-MPJPE 误差降低。在同一数据集上，SOTA 基于渲染的方法失效并将误差放大至多 5.6。
引用
@article{arxiv.2309.12183,
title = {ORTexME: Occlusion-Robust Human Shape and Pose via Temporal Average Texture and Mesh Encoding},
author = {Yu Cheng and Bo Wang and Robby T. Tan},
journal= {arXiv preprint arXiv:2309.12183},
year = {2023}
}
备注
8 pages, 8 figures