无数据的流图蒸馏
机器学习
2025-11-25 v1 计算机视觉与模式识别
摘要
最先进的流模型实现了显著的质量，但需要缓慢的迭代采样。为了加速这一过程，可以从预训练教师模型中蒸馏流图，传统上这需要从外部数据集中采样。我们认为，这种对数据的依赖引入了教师-数据不匹配的根本风险，因为静态数据集可能提供对教师模型完整生成能力的不完整甚至不匹配的表示。这使我们质疑，这种对数据的依赖是否对于成功的流图蒸馏真正必要。在这项工作中，我们探索了一种无数据的替代方案，仅从先验分布中采样，这是教师模型按构造保证遵循的分布，从而完全规避了不匹配风险。为了证明这一理念的实际可行性，我们引入了一个有原则的框架，该框架学习预测教师的采样路径，同时积极纠正自身的复合误差以确保高保真度。我们的方法超越了所有基于数据的对应方法，并以显著优势建立了新的最先进水平。具体而言，从 SiT-XL/2+REPA 蒸馏，我们的方法在 ImageNet 256×256 上达到了令人印象深刻的 FID 1.45，在 ImageNet 512×512 上达到了 1.49，两者均仅需 1 个采样步。我们希望我们的工作为加速生成模型建立了更稳健的范式，并推动了无数据流图蒸馏的更广泛采用。
引用
@article{arxiv.2511.19428,
title = {Flow Map Distillation Without Data},
author = {Shangyuan Tong and Nanye Ma and Saining Xie and Tommi Jaakkola},
journal= {arXiv preprint arXiv:2511.19428},
year = {2025}
}