Vid2CAD：利用视频多视图约束的 CAD 模型对齐
计算机视觉与模式识别
2022-01-26 v2
摘要
我们致力于将 CAD 模型对齐到包含多个物体的复杂场景视频序列这一任务。我们的方法能够处理任意视频，并全自动恢复其中出现的每个物体的 9 自由度（9 DoF）位姿，从而在统一的 3D 坐标系下将其对齐。我们方法的核心思想是将来自单帧的神经网络预测与一个时间全局的多视图约束优化公式相整合。这一整合过程解决了逐帧预测中的尺度与深度歧义，并普遍改进了所有位姿参数的估计。通过利用多视图约束，我们的方法还能解决遮挡问题并处理在单帧中不在视野内的物体，从而将全部物体重建为场景的单一全局一致的 CAD 表示。与我们基于的最先进单帧方法 Mask2CAD 相比，我们在 Scan2CAD 数据集上取得了显著提升（类别平均准确率从 11.6% 提高到 30.7%）。
引用
@article{arxiv.2012.04641,
title = {Vid2CAD: CAD Model Alignment using Multi-View Constraints from Videos},
author = {Kevis-Kokitsi Maninis and Stefan Popov and Matthias Nießner and Vittorio Ferrari},
journal= {arXiv preprint arXiv:2012.04641},
year = {2022}
}
备注
T-PAMI 2022 | Video: https://www.youtube.com/watch?v=R1cXg0vpwe4 | Project page: https://www.kmaninis.com/vid2cad/