ContraNeRF：基于对比学习的可泛化神经辐射场用于合成到真实的新视角合成
计算机视觉与模式识别
2023-06-26 v3
摘要
尽管近期许多工作研究了针对未知场景的可泛化基于 NeRF 的新视角合成，它们很少考虑合成到真实的泛化，而这是许多实际应用所期望的。在本工作中，我们首先研究了合成数据在合成到真实新视角合成中的作用，并惊讶地观察到用合成数据训练的模型倾向于产生更锐利但不够准确的体密度。对于体密度正确的像素，将获得细粒度细节；否则，将产生严重伪影。为保持使用合成数据的优势同时避免其负面效应，我们提出引入几何感知对比学习，以在几何约束下学习多视角一致特征。同时，我们采用跨视角注意力，通过查询输入视角间的特征来进一步增强特征的几何感知。实验表明，在合成到真实设定下，我们的方法能渲染出更高质量与更好细粒度细节的图像，在 PSNR、SSIM 与 LPIPS 上优于现有可泛化新视角合成方法。当在真实数据上训练时，我们的方法也取得了最先进的结果。
引用
@article{arxiv.2303.11052,
title = {ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning},
author = {Hao Yang and Lanqing Hong and Aoxue Li and Tianyang Hu and Zhenguo Li and Gim Hee Lee and Liwei Wang},
journal= {arXiv preprint arXiv:2303.11052},
year = {2023}
}