A3D：扩散模型是否会梦见3D对齐？
计算机视觉与模式识别
2025-03-18 v4
摘要
我们从几何对齐的角度解决文本驱动的3D生成问题。给定一组文本提示，我们旨在生成一组具有语义对应部件在它们之间对齐的物体。基于得分蒸馏的最新方法已成功将2D扩散模型的知识蒸馏到高质量的3D物体表示中。这些方法会分别处理多个文本查询，因此生成的物体在姿态和结构上具有较高的变异性。然而，在某些应用场景（如3D资产设计）中，获取彼此对齐的一组物体可能更可取。为实现生成物体对应部件的对齐，我们提出将这些物体嵌入到常见的潜在空间中，并优化这些物体之间的连续过渡。我们强制这些过渡具有两种属性：过渡的平滑性以及沿过渡过程中中间物体的合理性。我们证明，这两种属性对于获得良好对齐至关重要。我们提供了若干实际场景，旨在利用物体之间的对齐优势，包括3D编辑和物体混合，并在实验中展示了我们方法的有效性。https://voyleg.github.io/a3d/
引用
@article{arxiv.2406.15020,
title = {A3D: Does Diffusion Dream about 3D Alignment?},
author = {Savva Ignatyev and Nina Konovalova and Daniil Selikhanovych and Oleg Voynov and Nikolay Patakin and Ilya Olkov and Dmitry Senushkin and Alexey Artemov and Anton Konushin and Alexander Filippov and Peter Wonka and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2406.15020},
year = {2025}
}