P2I-NET：通过对抗学习将相机位姿映射到图像以用于真实室内环境的新视角合成
计算机视觉与模式识别
2023-09-28 v1
摘要
给定室内环境中的新 相机位姿，我们研究基于一组参考 RGBD 视图预测该位姿下视图这一具有挑战性的问题。现有的显式或隐式 3D 几何构建方法计算成本高昂，而基于学习的方法主要聚焦于具有规则几何结构的物体类别的孤立视图。不同于真实室内环境中新视角合成的传统 \textit{render-inpaint} 方法，我们提出条件生成对抗神经网络 (P2I-NET) 直接从给定位姿预测新视图。P2I-NET 学习环境图像的条件分布以建立相机位姿与其环境视图之间的对应关系，并通过其架构和训练损失函数中的若干创新设计实现这一点。引入两个辅助判别器约束，用于在潜特征空间和真实世界位姿空间中强制生成图像的位姿与对应真实世界图像的位姿一致。此外，引入深度卷积神经网络 (CNN) 以在像素空间中进一步强化该一致性。我们在真实室内数据集上进行了广泛的新视角合成实验。结果表明，P2I-NET 相对于多个基于 NeRF 的强基线模型具有更优性能。特别地，我们展示 P2I-NET 在合成相似质量图像时比这些竞争技术快 40 至 100 倍。此外，我们贡献了一个公开的新室内环境数据集，包含 22 个高分辨率 RGBD 视频，其中每帧还具有准确的相机位姿参数。
引用
@article{arxiv.2309.15526,
title = {P2I-NET: Mapping Camera Pose to Image via Adversarial Learning for New View Synthesis in Real Indoor Environments},
author = {Xujie Kang and Kanglin Liu and Jiang Duan and Yuanhao Gong and Guoping Qiu},
journal= {arXiv preprint arXiv:2309.15526},
year = {2023}
}