利用自监督从单视图学习多平面图像
计算机视觉与模式识别
2021-10-20 v2
摘要
从已捕获的图像生成静态新视图是计算机视觉与图形学中的一项艰巨任务，尤其是当单张输入图像包含人物或移动物体等动态部分时。本文通过提出一个名为 CycleMPI 的新框架来解决这一问题，该框架能够通过用于自监督的循环训练策略从单张图像中学习多平面图像表示。我们的框架不需要立体数据进行训练，因此可以利用来自互联网的海量视觉数据进行训练，从而即使在极具挑战性的情况下也能获得更好的泛化能力。尽管我们的方法不需要立体数据进行监督，但它在立体数据集上的零样本场景中取得了与 SOTA 相当的结果。我们在 RealEstate10K 和 Mannequin Challenge 数据集上评估了我们的方法以进行视图合成，并在 Places II 数据集上展示了定性结果。
引用
@article{arxiv.2110.09380,
title = {Learning multiplane images from single views with self-supervision},
author = {Gustavo Sutter P. Carvalho and Diogo C. Luvizon and Antonio Joia Neto and Andre G. C. Pacheco and Otavio A. B. Penatti},
journal= {arXiv preprint arXiv:2110.09380},
year = {2021}
}
备注
To appear on BMVC 2021