Kineo: 来自稀疏 RGB 相机的无标定度量运动捕捉
计算机视觉与模式识别
2025-11-04 v2
摘要
无标记多视角运动捕捉常受到精确相机标定需求的限制，限制了非专业用户和野外捕捉的可访问性。现有的无标定方法虽然缓解了这一需求，但 suffers from 高计算成本和降低的重建精度。我们提出Kineo，一个来自由不同步、无标定、消费级 RGB 相机视频的完全自动、无标定的运动捕捉管线。Kineo利用来自离线检测器的 2D 关键点，同时校准相机（包括 Brown-Conrady 畸变系数），并在度量尺度下重建 3D 关键点和稠密场景点图。置信驱动的时空关键点抽样策略结合基于图的全局优化，确保在与序列长度无关的固定计算成本下实现稳健的标定。我们进一步引入了成对重投影共识得分，用于量化 3D 重建可靠性，以供下游任务使用。在 EgoHumans 和 Human3.6M 上的评估表明，Kineo 在先前无标定方法上实现了显著的改进。相对于以前的领先方法，Kineo 将相机平移误差降低约 83-85%，相机角度误差降低 86-92%，以及世界平均关节误差（W-MPJPE）降低 83-91%。Kineo 也在实际场景中高效，处理特定配置下的多视角序列速度快于其持续时间（例如，用 36 分钟处理 1 小时 20 分钟的录像）。我们全程管线和评估代码已公开发布以促进可重复性和实际采用，访问 https://liris-xr.github.io/kineo/。
引用
@article{arxiv.2510.24464,
title = {Kineo: Calibration-Free Metric Motion Capture From Sparse RGB Cameras},
author = {Charles Javerliat and Pierre Raimbaud and Guillaume Lavoué},
journal= {arXiv preprint arXiv:2510.24464},
year = {2025}
}