Instant-3D：面向端侧 AR/VR 三维重建的即时神经辐射场训练

基于神经辐射场（NeRF）的三维重建对于沉浸式增强与虚拟现实（AR/VR）应用极具价值，但实现即时（即 < 5 秒）的端侧 NeRF 训练仍具挑战。本工作中，我们首先定位低效瓶颈：每次训练迭代中需从三维嵌入网格插值 NeRF 嵌入多达 200,000 次。为缓解此问题，我们提出 Instant-3D，一种算法-硬件协同设计的加速框架，可实现即时端侧 NeRF 训练。我们的算法将嵌入网格表示按颜色与密度分解，通过为颜色与密度分支采用不同的（1）网格尺寸与（2）更新频率，挤出计算冗余。我们的硬件加速器进一步减少嵌入网格插值的主导性内存访问：（1）在前向过程中将多个邻近点的内存读请求映射为一次，（2）在反向传播中合并同一滑动时间窗口的嵌入网格更新，以及（3）融合不同计算核以支持 Instant-3D 算法颜色与密度分支所需的不同网格尺寸。大量实验验证了 Instant-3D 的有效性，在保持相同重建质量下实现 41x - 248x 的大幅训练时间缩减。令人振奋的是，Instant-3D 已赋能 AR/VR 即时三维重建，每场景仅需 1.6 秒重建时间，并满足 AR/VR 1.9 W 功耗约束。