ImageBART：用于自回归图像合成的多项扩散双向上下文
计算机视觉与模式识别
2021-08-20 v1
摘要
自回归模型及其对数据似然的序列分解近期在图像表示与合成中展现出巨大潜力。然而，它们以线性 1D 顺序融入图像上下文，仅关注已合成图像块的上方或左侧。这种单向、序列化的注意力偏置不仅对图像而言不自然——它在合成几乎完成前忽略了场景的大部；它还以单一尺度处理整幅图像，从而忽略了直至整个场景要旨的更全局上下文信息。作为补救，我们将自回归公式与多项扩散过程结合，引入由粗到细的上下文层次：多阶段扩散过程 successively 移除信息以粗化图像，而我们训练一条（短）马尔可夫链来反转该过程。在每一阶段，所得自回归 ImageBART 模型以由粗到细的方式逐步融入来自前序阶段的上下文。实验表明，相较自回归模型，本方法大幅改进了图像修改能力，同时提供高保真图像生成，二者均得益于在压缩潜空间中的高效训练。具体而言，我们的方法可考虑用户提供的无限制掩码以执行局部图像编辑。因此，与纯自回归模型不同，它可解决自由形式图像修复，并在条件模型情况下实现局部、文本引导的图像修改，且无需掩码特定训练。
引用
@article{arxiv.2108.08827,
title = {ImageBART: Bidirectional Context with Multinomial Diffusion for Autoregressive Image Synthesis},
author = {Patrick Esser and Robin Rombach and Andreas Blattmann and Björn Ommer},
journal= {arXiv preprint arXiv:2108.08827},
year = {2021}
}