面向一步捷径扩散模型的高阶匹配
计算机视觉与模式识别
2025-02-04 v1 人工智能
机器学习
摘要
一步捷径扩散模型 [Frans, Hafner, Levine and Abbeel, ICLR 2025] 在视觉生成方面已展现出潜力，但其对一阶轨迹监督的依赖存在根本性局限。该捷径模型仅依赖速度的简化方法无法捕捉内在的流形几何结构，导致轨迹不稳定、几何对齐性差以及不稳定性——尤其是在高曲率区域。这些缺陷源于其无法建模中期依赖关系或复杂的分布特征，使其难以胜任鲁棒的生成建模。在本工作中，我们引入了 HOMO（面向一步捷径扩散的高阶匹配），这是一个变革性的框架，利用高阶监督彻底革新了分布传输。通过纳入加速度、加加速度及更高阶项，HOMO 不仅修复了捷径模型的缺陷，还实现了前所未有的平滑性、稳定性和几何精度。理论上，我们证明了 HOMO 的高阶监督确保了更优的逼近精度，优于一阶方法。实证上，HOMO 在复杂环境中占据主导地位，特别是在捷径模型难以应对的高曲率区域。我们的实验表明，HOMO 提供了更平滑的轨迹和更好的分布对齐，为一步生成模型设立了新标准。
引用
@article{arxiv.2502.00688,
title = {High-Order Matching for One-Step Shortcut Diffusion Models},
author = {Bo Chen and Chengyue Gong and Xiaoyu Li and Yingyu Liang and Zhizhou Sha and Zhenmei Shi and Zhao Song and Mingda Wan},
journal= {arXiv preprint arXiv:2502.00688},
year = {2025}
}