SymmNeRF：学习利用对称性先验进行单视图新视角合成
计算机视觉与模式识别
2023-03-14 v2
摘要
我们研究从单幅图像进行物体新视角合成的问题。现有方法已展示了单视图视角合成的潜力。然而，它们仍难以恢复精细的外观细节，尤其在自遮挡区域。这是因为单视图仅提供有限信息。我们观察到人造物体通常呈现对称外观，这引入了额外的先验知识。受此启发，我们探究将对称性显式嵌入场景表示中的潜在性能提升。本文提出 SymmNeRF，一种基于神经辐射场（NeRF）的框架，在引入对称性先验下结合局部与全局条件化。具体而言，SymmNeRF 将像素对齐的图像特征及相应的对称特征作为 NeRF 的额外输入，其参数由超网络生成。由于参数以图像编码的潜码为条件，SymmNeRF 因而与场景无关且可泛化至新场景。在合成与真实世界数据集上的实验表明，无论姿态变换如何，SymmNeRF 都能合成具有更多细节的新视角，并在应用于未见物体时展现出良好泛化性。代码见：https://github.com/xingyi-li/SymmNeRF。
引用
@article{arxiv.2209.14819,
title = {SymmNeRF: Learning to Explore Symmetry Prior for Single-View View Synthesis},
author = {Xingyi Li and Chaoyi Hong and Yiran Wang and Zhiguo Cao and Ke Xian and Guosheng Lin},
journal= {arXiv preprint arXiv:2209.14819},
year = {2023}
}
备注
Accepted by ACCV 2022