基于随机插值器的流图匹配:一致性模型的数学框架
计算机视觉与模式识别
2024-06-12 v1 人工智能
机器学习
摘要
基于动力学方程(如流和扩散)的生成模型在样本质量方面具有卓越表现,但在推理过程中需要计算密集的数值积分。一致性模型(consistency models)的出现使得实现一步或少数步骤的生成成为可能,尽管其实际应用取得了显著成功,但由于缺乏系统性的理论框架,其设计仍受制于理论上的不确定性。本文引入流图匹配(Flow Map Matching, FMM),作为学习底层动力学生成模型双时流图的原则方法,从而提供了这一缺失的数学基础。利用随机插值器,我们提出了既可用于从预训练速度场蒸馏,也可用于直接训练插值器或前向扩散过程中的流图的训练目标。理论上,我们表明 FMM 统一并扩展了一类现有方法,用于快速采样,包括一致性模型、一致性轨迹模型和渐进蒸馏。在 CIFAR-10 和 ImageNet-32 上的实验表明,我们的方法能够实现与流匹配相当的样本质量,同时将生成时间缩短 10 倍至 20 倍。
引用
@article{arxiv.2406.07506,
title = {Understanding Visual Concepts Across Models},
author = {Brandon Trabucco and Max Gurinas and Kyle Doherty and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2406.07506},
year = {2024}
}
备注
Official code at: https://github.com/visual-words/visual-words