等变去噪扩散的鲁亚-布谢尔梯度估计器
机器学习
2025-10-21 v4
摘要
在分子和蛋白质生成等领域，物理系统表现出固有的对称性，这些对称性对于模型至关重要。两种主要策略已用于学习不变分布：设计等变网络架构和使用数据增强来近似等变性。虽然等变网络架构通过设计保留对称性，但通常涉及更大的复杂性并带来优化挑战。数据增强另一方面提供了灵活性，但可能不足以完全捕获对称性。我们的框架通过减少训练方差并提供一个可证明的低方差梯度估计器来增强这两种方法。我们通过将数据增强解释为训练梯度的蒙特卡洛估计器并应用鲁亚-布谢尔化来实现这一点。这导致更稳定的优化、更快的收敛和减少的方差，同时只需对每个样本执行一次前向和反向传递。我们还 presenting 一个实用的方法，称为轨道扩散（Orbit Diffusion），将损失和采样程序整合其中。理论上，我们保证我们的损失 admits 等变最小化器。经验上，Orbit Diffusion 在 GEOM-QM9 上实现了分子构象生成的国际最佳结果，改进了晶体结构预测，并在 Perov-5 和 MP-20基准测试中推进了受文本引导的晶体生成。此外，它增强了蛋白质可设计性。代码可在 https://github.com/vinhsuhi/Orbit-Diffusion.git 获取。
引用
@article{arxiv.2502.09890,
title = {Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion},
author = {Vinh Tong and Hoang Trung-Dung and Anji Liu and Guy Van den Broeck and Mathias Niepert},
journal= {arXiv preprint arXiv:2502.09890},
year = {2025}
}