人类作为棋盘:标定世界坐标系人体网格恢复中的相机运动尺度
计算机视觉与模式识别
2024-12-13 v2
摘要
准确的相机运动估计对于从 RGB 视频输入中恢复世界坐标系下的全局人体运动至关重要。SLAM 被广泛用于估计相机轨迹和点云,但单目 SLAM 只能在未知尺度因子下进行估计。以往的工作通过优化来估计尺度因子,但这既不可靠又耗时。本文提出了一种免优化的尺度标定框架——人类作为棋盘(HAC)。HAC 创新地将人体网格恢复模型预测的人体作为标定参考。具体而言,它利用人体与场景接触关节的绝对深度作为参考,来标定 SLAM 中对应的相对场景深度。HAC 借助人体网格恢复模型中编码的几何先验来估计 SLAM 尺度,并实现了精确的全局人体运动估计。我们的方法简单而强大,为全局人体网格估计任务设定了新的 SOTA 性能,与以往的局部到全局方法相比,运动误差减少了 50%,同时推理时间比基于优化的方法减少了 100 倍。项目页面:https://martayang.github.io/HAC。
引用
@article{arxiv.2407.00574,
title = {Humans as Checkerboards: Calibrating Camera Motion Scale for World-Coordinate Human Mesh Recovery},
author = {Fengyuan Yang and Kerui Gu and Ha Linh Nguyen and Tze Ho Elden Tse and Angela Yao},
journal= {arXiv preprint arXiv:2407.00574},
year = {2024}
}
备注
13 pages, 11 figures, 6 tables