DeLiRa：自监督深度、光照与辐射场
计算机视觉与模式识别
2023-04-07 v1
摘要
可微体积渲染是用于 3D 重建和新视角合成的强大范式。然而，在视点多样性受限的情况下（这是机器人应用中的常见场景），标准体积渲染方法难以处理退化几何。在本工作中，我们提出将自监督深度估计文献中的多视图光度目标作为体积渲染的几何正则化项，在无需额外信息的情况下显著改善新视角合成。基于这一见解，我们探索使用通用 Transformer 对场景几何进行显式建模，通过一组共享潜码联合学习辐射场以及深度场和光照场。我们证明，跨任务共享几何信息是互利的，在不增加网络复杂性的情况下，相比单任务学习取得了改进。我们的 DeLiRa 架构在 ScanNet 基准上取得了 SOTA 结果，在视点多样性受限的设定下实现了高质量体积渲染以及实时新视角与深度合成。
关键词
引用
@article{arxiv.2304.02797,
title = {DeLiRa: Self-Supervised Depth, Light, and Radiance Fields},
author = {Vitor Guizilini and Igor Vasiljevic and Jiading Fang and Rares Ambrus and Sergey Zakharov and Vincent Sitzmann and Adrien Gaidon},
journal= {arXiv preprint arXiv:2304.02797},
year = {2023}
}
备注
Project page: https://sites.google.com/view/tri-delira