面向野外动态三维人体重建的时空光束法平差

光束法平差联合优化相机内参和外参以及三维点三角测量，以重建静态场景。然而，三角测量约束对于在多个未同步视频中捕获的运动点无效，且光束法平差并非设计用于估计相机间的时间对齐。我们提出一个时空光束法平差框架，联合优化四个耦合的子问题：估计相机内参和外参、三角测量静态三维点，以及相机间的亚帧时间对齐和计算动态点的三维轨迹。我们联合优化的关键是在重建流程中精心整合基于物理的运动先验，并在一个大规模人体运动捕捉语料库上进行了验证。我们设计了一种增量重建与对齐算法，以在时空光束法平差期间严格执行运动先验。通过分治策略，该算法在保持高精度的同时进一步提高了效率。我们将此算法应用于重建由多个未标定且未同步的野外摄像机捕获的动态事件中人体三维运动轨迹。为了使重建在视觉上更易解释，我们将一个统计三维人体模型拟合到异步视频流中。与基线相比，该拟合显著受益于所提出的时空光束法平差过程。由于视频以亚帧精度对齐，我们以远高于输入视频的时间分辨率重建了三维运动。