论衡非自回归变换器在高效图像合成中的潜力
计算机视觉与模式识别
2025-11-14 v2 机器学习
摘要
图像合成领域因扩散模型的突破性进展而蓬勃发展。尽管扩散模型取得了成功，但其计算密集性促使寻求更高效的替代方案。作为代表性工作，非自回归变换器 (NAT) 因其快速生成能力受到重视。然而，这些模型与扩散模型相比性能却不尽如人意。本文旨在重新评估 NAT 的全部潜力，通过重访其训练和推理策略的设计。具体而言，我们识别出正确配置这些策略的复杂性，并指出现有基于启发式方法的设计可能次优。鉴于此，我们提出超越现有方法的方案，即直接在自动化框架中求解最优策略。得到的方法命名为 AutoNAT，显著提升了 NAT 的性能边界，能够以显著降低的推理成本达到与最新扩散模型相当的性能。我们在四个基准数据集上验证了 AutoNAT 的有效性，即 ImageNet-256 与 512、MS-COCO 和 CC3M。我们的代码已公开于 https://github.com/LeapLabTHU/ImprovedNAT。
引用
@article{arxiv.2406.05477,
title = {Attri-Net: A Globally and Locally Inherently Interpretable Model for Multi-Label Classification Using Class-Specific Counterfactuals},
author = {Susu Sun and Stefano Woerner and Andreas Maier and Lisa M. Koch and Christian F. Baumgartner},
journal= {arXiv preprint arXiv:2406.05477},
year = {2025}
}
备注
Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://melba-journal.org/2025:028