用于可泛化神经辐射场的纠缠视角-对极信息聚合
计算机视觉与模式识别
2024-03-13 v2
摘要
可泛化 NeRF 可直接跨新场景合成新视角，消除了 vanilla NeRF 中针对特定场景重训练的需要。这些方法的关键赋能因素是通过聚合源视角特征来提取可泛化的 3D 表示。本文提出一种称为 EVE-NeRF 的纠缠视角-对极信息聚合方法。不同于现有独立考虑跨视角与沿对极信息的方法，EVE-NeRF 通过将场景不变的外观连续性与几何一致性先验注入聚合过程，以纠缠方式执行视角-对极特征聚合。我们的方法有效缓解了因一维交互导致的固有几何与外观约束潜在缺失，从而进一步提升 3D 表示的泛化性。EVE-NeRF 在各种评估场景中达到最先进性能。大量实验表明，相较于主流单维聚合，该纠缠网络在 3D 场景几何与外观重建精度上更优。我们的代码公开于 https://github.com/tatakai1/EVENeRF。
引用
@article{arxiv.2311.11845,
title = {Entangled View-Epipolar Information Aggregation for Generalizable Neural Radiance Fields},
author = {Zhiyuan Min and Yawei Luo and Wei Yang and Yuesong Wang and Yi Yang},
journal= {arXiv preprint arXiv:2311.11845},
year = {2024}
}
备注
Accepted by CVPR-2024