3DGauCIM：通过数字存内计算加速静态/动态3D高斯泼溅实现高帧率实时边缘渲染
硬件体系结构
2025-07-28 v1
摘要
动态3D高斯泼溅（3DGS）扩展了静态3DGS以渲染动态场景，从而支持包含移动物体的AR/VR应用。然而，在边缘设备上实现动态3DGS面临挑战：(1) 从DRAM加载所有高斯参数进行视锥剔除会带来高能耗。(2) 动态场景参数的增加提高了排序延迟和能耗。(3) 有限的片上缓冲区容量与更高的参数数量降低了缓冲区重用率，导致频繁的DRAM访问。(4) 动态3DGS操作不易与数字存内计算（DCIM）兼容。这些挑战阻碍了边缘设备上的实时性能和能效，导致电池寿命缩短或需要笨重的电池。为应对这些挑战，我们提出了算法-硬件协同设计技术。在算法层面，我们引入了三项优化：(1) 减少DRAM访问的视锥剔除以降低DRAM访问开销，(2) 自适应瓦片分组以增强片上缓冲区重用，以及(3) 自适应区间初始化桶-双调排序以减少排序延迟。在硬件层面，我们提出了一种对DCIM友好的计算流程，并使用来自16nm DCIM原型芯片的测量数据进行了评估。我们在大规模真实世界静态/动态数据集上的实验结果表明，能够以超过200帧每秒（FPS）的高帧率实现实时渲染，且功耗极低，静态大规模真实世界场景仅为0.28 W，动态大规模真实世界场景为0.63 W。这项工作成功解决了在资源受限的边缘设备上实现静态/动态3DGS技术的重大挑战。
引用
@article{arxiv.2507.19133,
title = {3DGauCIM: Accelerating Static/Dynamic 3D Gaussian Splatting via Digital CIM for High Frame Rate Real-Time Edge Rendering},
author = {Wei-Hsing Huang and Cheng-Jhih Shih and Jian-Wei Su and Samuel Wade Wang and Vaidehi Garg and Yuyao Kong and Jen-Chun Tien and Nealson Li and Arijit Raychowdhury and Meng-Fan Chang and Yingyan and Lin and Shimeng Yu},
journal= {arXiv preprint arXiv:2507.19133},
year = {2025}
}