平凡化动量促进李群上的扩散生成建模
机器学习
2025-02-13 v2 人工智能
机器学习
摘要
流形上数据的生成建模是一项重要任务,为此,平坦空间中的扩散模型通常需要进行非平凡的调整。本文展示了一种称为“平凡化”的技术如何将欧几里得空间中扩散模型的有效性迁移到李群上。特别地,算法性地引入了一个辅助动量变量,以帮助位置变量在数据分布和一个固定的、易于采样的分布之间传输。通常,这会为流形数据带来进一步的困难,因为动量存在于一个随位置变化的空间中。然而,我们的平凡化技术创建了一个新的动量变量,它停留在一个简单的固定向量空间中。这种设计,结合一个保持流形的积分器,简化了实现,并避免了由近似(如投影到切空间和流形)造成的不准确性,而这些近似是先前工作中常用的,从而促进了高保真度和高效率的生成。所得到的方法在蛋白质和RNA扭转角生成以及复杂的环面数据集上达到了最先进的性能。我们也(可以说是首次)解决了高维特殊正交群和酉群上数据的生成问题,后者对于量子问题至关重要。代码可在 https://github.com/yuchen-zhu-zyc/TDM 获取。
引用
@article{arxiv.2405.16381,
title = {Trivialized Momentum Facilitates Diffusion Generative Modeling on Lie Groups},
author = {Yuchen Zhu and Tianrong Chen and Lingkai Kong and Evangelos A. Theodorou and Molei Tao},
journal= {arXiv preprint arXiv:2405.16381},
year = {2025}
}
备注
Accepted to ICLR 2025