HMAR：高效的层次化掩码自回归图像生成
计算机视觉与模式识别
2025-06-06 v1 人工智能
机器学习
摘要
视觉自回归建模（VAR）在填补自回归图像模型与扩散模型之间速度与质量差距方面显示出前景。VAR 通过将图像分解为连续分辨率尺度来改造自回归建模。在推断期间，图像通过预测所有位于下一个（更高分辨率）尺度中的标记，条件化于所有位于前一个（更低分辨率）尺度中的标记来生成。然而，这一表述因在分辨率尺度内并行生成所有标记而导致图像质量下降；序列长度随图像分辨率的超线性增长；以及需要重新训练才能更改采样计划。我们引入层次化掩码自回归建模（HMAR），一种新的图像生成算法，通过下一尺度预测和掩码预测来缓解这些问题，从而以快速采样生成高质量图像。HMAR 将下一尺度预测重新表述为马尔可夫过程，其中每个分辨率尺度的预测仅条件化于其直接前驱中的标记，而非所有前驱分辨率中的标记。在预测分辨率尺度时，HMAR 使用可控的多步骤掩码生成程序来生成每个步骤中的一部分标记。在 ImageNet 256x256 和 512x512 基准上，HMAR 模型在参数匹配的 VAR、扩散和自回归基准上实现了相同或更好的性能。我们开发了高效的 IO 感知稀疏注意力内核，使 HMAR 在 VAR 之上实现了超过 2.5 倍和 1.75 倍的更快训练和推理时间，以及 3 倍更低的推理内存占用。最后，HMAR 相对于 VAR 具有额外的灵活性；其采样计划可以在无需进一步训练的情况下更改，并且可以以零样本方式应用于图像编辑任务。
引用
@article{arxiv.2506.04421,
title = {HMAR: Efficient Hierarchical Masked Auto-Regressive Image Generation},
author = {Hermann Kumbong and Xian Liu and Tsung-Yi Lin and Ming-Yu Liu and Xihui Liu and Ziwei Liu and Daniel Y. Fu and Christopher Ré and David W. Romero},
journal= {arXiv preprint arXiv:2506.04421},
year = {2025}
}
备注
Accepted to CVPR 2025. Project Page: https://research.nvidia.com/labs/dir/hmar/