为视觉生成蒸馏专用生成顺序
计算机视觉与模式识别
2026-04-10 v2 人工智能
摘要
自回归(AR)图像生成器因能够产生高质量图像且具备可扩展性而日益受到欢迎。典型的AR模型被固定在特定的生成顺序上，通常是从左上角到右下角的光栅扫描;这会阻止在不重新训练的情况下实现多任务灵活性(如图像修补、编辑、扩展)。任意顺序AR模型通过学习在任意patch顺序下的生成来解决此问题，但代价是增加复杂度和降低性能。本文提出了有序自回归(OAR)生成，即一种自蒸馏管线，首先训练一个任意顺序AR模型，然后从模型自身的置信度得分中提取专用生成顺序，并在这些顺序上进行微调。这实现了两个目标:1)通过将容量从学习所有 种顺序转向单一专用路径，提高生成质量;2)保留任意顺序模型的灵活性。在ImageNet 上，OAR相较于任意顺序基线将FID从2.39提高到2.17，在Fashion Products和CelebA-HQ上均实现一致的提升。OAR支持无需重新训练的零样本图像修补和扩展，人类评估显示64%的偏好优于基线。该管线仅需在预训练的任意顺序模型上进行轻量级微调，不需要架构更改或额外标注。
引用
@article{arxiv.2504.17069,
title = {Distilling Specialized Orders for Visual Generation},
author = {Rishav Pramanik and Amin Sghaier and Masih Aminbeidokhti and Juan A. Rodriguez and Antoine Poupon and David Vazquez and Christopher Pal and Zhaozheng Yin and Marco Pedersoli},
journal= {arXiv preprint arXiv:2504.17069},
year = {2026}
}