BioNeRF：用于视图合成的生物合理神经辐射场
计算机视觉与模式识别
2024-11-27 v3 机器学习
摘要
本文提出了BioNeRF，这是一种生物合理的架构，它以3D表示对场景进行建模，并通过辐射场合成新视图。由于NeRF依赖网络权重来存储场景的3维表示，BioNeRF实现了一种受认知启发的机制，将来自多个源的输入融合到一个类似记忆的结构中，从而提高了存储能力并提取出更多内在和相关信息。BioNeRF还模拟了在锥体细胞中观察到的关于上下文信息的行为，其中记忆作为上下文提供，并与两个后续神经模型的输入相结合，一个负责产生体密度，另一个负责产生用于渲染场景的颜色。实验结果表明，在两个数据集（真实世界图像和合成数据）上，就编码人类感知的质量度量而言，BioNeRF优于最先进的结果。
引用
@article{arxiv.2402.07310,
title = {BioNeRF: Biologically Plausible Neural Radiance Fields for View Synthesis},
author = {Leandro A. Passos and Douglas Rodrigues and Danilo Jodas and Kelton A. P. Costa and Ahsan Adeel and João Paulo Papa},
journal= {arXiv preprint arXiv:2402.07310},
year = {2024}
}