中文

低噪声 regime 下的流匹配:病态现象及对抗性补救

机器学习 2025-09-26 v1 人工智能

摘要

流匹配(flow matching)最近作为扩散模型的强大替代方案,提供了用于生成模型和表示学习的连续时间表述。然而,我们指出该框架在低噪声 regime 中存在根本性不稳定性。随着噪声水平趋近于零,输入的任意微小扰动可导致速度目标产生大幅变化,导致学习问题的条件数发散。这种病态现象不仅减慢优化速度,还迫使编码器将其有限的雅可比容量重新分配给噪声方向,从而降低语义表征的质量。我们提供了该现象的首次理论分析,称为低噪声病态(low-noise pathology),确立其与流匹配目标结构之间的内在联系。基于这些见解,我们提出 Local Contrastive Flow(LCF),一种混合训练协议,用对抗特征对齐取代小噪声水平下的直接速度回归,同时在中等和高噪声水平下保留标准流匹配。实证结果表明,LCF 不仅提高收敛速度,还稳定了表征质量。我们的发现凸显了解决低噪声病态的重要性,以实现流匹配在生成和表示学习中发挥全部潜力的关键作用。

关键词

引用

@article{arxiv.2509.20952,
  title  = {Flow Matching in the Low-Noise Regime: Pathologies and a Contrastive Remedy},
  author = {Weili Zeng and Yichao Yan},
  journal= {arXiv preprint arXiv:2509.20952},
  year   = {2025}
}