StraIT：基于分层图像 Transformer 的非自回归生成
计算机视觉与模式识别
2023-03-02 v1
摘要
我们提出分层图像 Transformer（StraIT），一种纯非自回归（NAR）生成模型，在高质量图像合成上展现出优于现有自回归（AR）与扩散模型（DMs）的优势。不同于现有视觉 tokenizer 对视觉特性的欠利用，我们借助图像的分层本质将视觉 token 编码为具有涌现属性的分层级别。通过所提获得互联 token 对的图像分层，我们缓解了建模难度并提升了 NAR 模型的生成能力。实验表明，StraIT 显著改善 NAR 生成，且在快数个数量级的同时优于现有 DMs 与 AR 方法，在 ImageNet 上以 256*256 分辨率取得 FID 3.96，且采样中未借助任何引导或辅助图像分类器。当配备无分类器引导时，我们的方法取得 FID 3.36 与 IS 259.3。此外，我们阐释了 StraIT 生成的解耦建模过程，展示了其在包括域迁移等应用上的引人性质。
引用
@article{arxiv.2303.00750,
title = {StraIT: Non-autoregressive Generation with Stratified Image Transformer},
author = {Shengju Qian and Huiwen Chang and Yuanzhen Li and Zizhao Zhang and Jiaya Jia and Han Zhang},
journal= {arXiv preprint arXiv:2303.00750},
year = {2023}
}