用于三维环境中视觉注意力建模的神经辐射与注视场

我们提出了神经辐射与注视场（NeRGs），一种用于表示复杂环境中视觉注意力的新方法。正如神经辐射场（NeRFs）执行新视角合成一样，NeRGs 从任意视角重建注视模式，将视觉注意力隐式映射到三维表面上。我们通过向标准 NeRF 增添一个额外的网络来实现这一点，该网络建模以场景几何与观察者位置为条件的自我中心注视概率密度。NeRGs 的输出是场景的渲染视图以及一个逐像素的显著性图，表示给定观察者注视可见表面的条件概率。与先前方法不同，我们的系统轻量且能以交互式帧率可视化注视场。此外，NeRGs 允许观察者视角与渲染相机解耦，并正确考虑由 intervening 几何体引起的注视遮挡。我们通过将骨架跟踪的头部姿态作为注视的代理来验证 NeRGs 的有效性，采用我们提出的注视探针将噪声射线聚合为用于监督的鲁棒概率密度目标。