CaesarNeRF：面向少样本可泛化神经渲染的校准语义表示
计算机视觉与模式识别
2024-07-11 v2
摘要
可泛化性与少样本学习是神经辐射场（NeRF）的关键挑战，其根源常在于像素级渲染缺乏整体理解。我们提出CaesarNeRF，一种端到端方法，利用场景级校准语义表示（CAlibratEd SemAntic Representation）与像素级表示相结合，推进少样本、可泛化的神经渲染，在不牺牲高质量细节的前提下实现整体理解。CaesarNeRF显式建模参考视图的位姿差异以融合场景级语义表示，提供校准的整体理解。该校准过程以精确位置对齐不同视角，并通过时序精炼进一步增强以捕捉变化细节。在LLFF、Shiny、mip-NeRF 360和MVImgNet等公开数据集上的大量实验表明，CaesarNeRF在不同数量参考视图下均达到最先进性能，即便仅使用单张参考图像也证明有效。
引用
@article{arxiv.2311.15510,
title = {CaesarNeRF: Calibrated Semantic Representation for Few-shot Generalizable Neural Rendering},
author = {Haidong Zhu and Tianyu Ding and Tianyi Chen and Ilya Zharkov and Ram Nevatia and Luming Liang},
journal= {arXiv preprint arXiv:2311.15510},
year = {2024}
}
备注
Accepted to ECCV 2024. Project available at https://haidongz-usc.github.io/project/caesarnerf