贴合切向：通过流形对齐切向训练更好的一致性模型
计算机视觉与模式识别
2025-10-02 v1 人工智能
机器学习
摘要
随着扩散模型和流匹配模型取得了生成性能的突破，社区的关注转向在不牺牲样本质量的前提下缩短推理时间。一致性模型（CM）旨在在扩散或概率流 ODE 轨迹上保持一致，从而实现一步或两步采样。然而，CM 通常需要大批量训练才能获得具竞争力的样本质量。本文考察了 CM 在收敛附近的训练动力学，发现 CM 的切向——即 CM 输出更新方向——相当振荡，即它们沿数据流形方向移动，而非朝向流形。为缓解振荡切向，我们提出一种新损失函数，称为流形特征距离（MFD），它提供贴合流形的切向，指向数据流形。因此，我们的方法——称为贴合切向（AYT）——可通过数个数量级加速 CM 训练，甚至超越已学习的感知图像切片相似性指标（LPIPS）。此外，我们发现该损失使我们能够在极小批量下进行训练，而不牺牲样本质量。代码：https://github.com/1202kbs/AYT
引用
@article{arxiv.2510.00658,
title = {Align Your Tangent: Training Better Consistency Models via Manifold-Aligned Tangents},
author = {Beomsu Kim and Byunghee Cha and Jong Chul Ye},
journal= {arXiv preprint arXiv:2510.00658},
year = {2025}
}
备注
Preprint