环视室外：从单幅图像合成一致的长期三维场景视频
计算机视觉与模式识别
2022-03-18 v1
摘要
从单幅图像进行新视角合成近来引起了大量关注，并且主要得益于 3D 深度学习与渲染技术而取得进展。然而，大多数工作仍局限于在相对较小的相机运动范围内合成新视角。在本文中，我们提出一种新颖的方法，给定单幅场景图像和大幅相机运动轨迹，合成一致的长期视频。我们的方法利用自回归 Transformer 对多帧进行序列建模，推断多帧与对应相机之间的关系以预测下一帧。为促进学习并保证生成帧间的一致性，我们引入基于输入相机的局部性约束，以引导跨时空大量图像块之间的自注意力。我们的方法大幅优于最先进的新视角合成方法，尤其在室内 3D 场景中合成长期未来时。项目页面见 https://xrenaa.github.io/look-outside-room/。
引用
@article{arxiv.2203.09457,
title = {Look Outside the Room: Synthesizing A Consistent Long-Term 3D Scene Video from A Single Image},
author = {Xuanchi Ren and Xiaolong Wang},
journal= {arXiv preprint arXiv:2203.09457},
year = {2022}
}
备注
Accepted to CVPR 2022. Project page: https://xrenaa.github.io/look-outside-room/