基于 Diffusion Mamba 的高效 3D 形状生成：双向 SSMs 架构

近期序列建模的进展推动了 Mamba 架构的发展，因其选择性状态空间方法，展现出处理长序列的潜力。然而，其在 3D 形状生成，尤其是高分辨率下的应用，仍鲜有探索。传统基于自注意力机制的扩散变换器（DiT），尽管具有潜力，却因注意力操作随输入长度呈三次方复杂度而面临可扩展性挑战。当处理高分辨率体素大小时，这一复杂度成为重大障碍。为此，我们提出一种针对 3D 点云生成的新型扩散架构——Diffusion Mamba（DiM-3D）。该架构摒弃传统注意力机制，采用 Mamba 架构的内在效率，使其对序列长度保持线性复杂度。DiM-3D 具有快速推理速度和显著降低的计算需求（以 Gflops 衡量），从而解决了先前模型的关键可扩展性问题。我们的实验结果在 ShapeNet 数据集上表明，DiM-3D 在生成高保真多样化 3D 形状方面实现了最新性能。此外，DiM-3D 在 3D 点云完成等任务中展现出卓越能力。这不仅证明了该模型的可扩展性，也凸显了其在生成详细高分辨率体素方面的效率，尤其在需要高分辨率体素大小的高级 3D 形状建模环境中表现突出。通过这些发现，我们展示了 Diffusion Mamba 框架在 3D 形状生成中的卓越可扩展性与效率，为该领域树立了新标准，为未来在高分辨率 3D 建模技术领域的探索铺平了道路。