通过NeRF注意力实现端到端视图合成
计算机视觉与模式识别
2022-09-16 v3 人工智能
摘要
在本文中，我们提出一种简单的seq2seq公式用于视图合成，其中我们取一组射线点作为输入并输出对应于这些射线的颜色。直接在此seq2seq公式上应用标准transformer有两个局限。第一，标准注意力无法成功拟合体渲染过程，因此合成视图中缺失高频分量。第二，对所有射线和像素施加全局注意力极为低效。受神经辐射场(NeRF)启发，我们提出NeRF注意力(NeRFA)以解决上述问题。一方面，NeRFA将体渲染方程视为一种软特征调制过程。以此方式，该特征调制增强了transformer的类似NeRF的归纳偏置。另一方面，NeRFA执行多阶段注意力以降低计算开销。此外，NeRFA模型采用射线与像素transformer来学习射线与像素间的交互。NeRFA在四个数据集DeepVoxels、Blender、LLFF和CO3D上展现出优于NeRF与NerFormer的性能。此外，NeRFA在两种设定下确立了新的SOTA：单场景视图合成与以类别为中心的新视角合成。
引用
@article{arxiv.2207.14741,
title = {End-to-end View Synthesis via NeRF Attention},
author = {Zelin Zhao and Jiaya Jia},
journal= {arXiv preprint arXiv:2207.14741},
year = {2022}
}
备注
Fixed reference formatting issues