扩散模型于动力系统上的优化基准
复变函数
2026-01-09 v2
摘要
扩散模型的训练往往在新的优化技术评估中被忽略。在本工作中，我们对最近的优化算法进行了基准测试，用于训练 denoising flow 轨迹的扩散模型。我们观察到Muon 和 SOAP 是AdamW（最终损失降低18%）的高效替代方案。我们也回顾了在扩散模型训练背景下，与文本或图像应用相关的若干近期现象。这包括学习率计划对训练动力学的影响，以及Adam与SGD之间性能差距。
关键词
引用
@article{arxiv.2510.19375,
title = {Diffeomorphic solutions of Ahlfors-Hopf equations},
author = {Gaven Martin and Cong Yao},
journal= {arXiv preprint arXiv:2510.19375},
year = {2026}
}
备注
22 pages, 5 figures