Gen-NeRF：通过算法-硬件协同设计实现高效可泛化神经辐射场
计算机视觉与模式识别
2025-01-07 v4 硬件体系结构
摘要
新视角合成是为各类增强现实与虚拟现实（AR/VR）应用提供沉浸式体验的关键功能，可泛化神经辐射场（NeRFs）凭借其跨场景泛化能力日益受到青睐。尽管前景广阔，可泛化 NeRF 的真实设备部署受限于其极高复杂度——需大量内存访问以获取场景特征，导致其光线步进过程受内存带宽瓶颈制约。为此，我们提出 Gen-NeRF，一个专用于可泛化 NeRF 加速的算法-硬件协同设计框架，首次实现了实时可泛化 NeRF。在算法侧，Gen-NeRF 集成由粗到精的采样策略，利用 3D 场景不同区域对渲染像素贡献各异的特性，实现稀疏而有效的采样。在硬件侧，Gen-NeRF 强调一种加速器微架构，通过利用不同光线间的对极几何关系最大化其数据复用机会。此外，我们的 Gen-NeRF 加速器具备定制数据流以增强点至硬件映射时的数据局部性，以及优化的场景特征存储策略以最小化存储体冲突。大量实验验证了所提 Gen-NeRF 框架在实现实时可泛化新视角合成上的有效性。
引用
@article{arxiv.2304.11842,
title = {Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design},
author = {Yonggan Fu and Zhifan Ye and Jiayi Yuan and Shunyao Zhang and Sixu Li and Haoran You and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2304.11842},
year = {2025}
}
备注
Accepted by ISCA 2023