基于双向与自回归 Transformer 的多样化图像修复
计算机视觉与模式识别
2021-06-02 v3
摘要
图像修复是一个欠定逆问题，自然允许以多样内容真实地填补缺失或破损区域。使用卷积神经网络（CNNs）的流行方法可合成视觉愉悦的内容，但 CNNs 受限于有限的感受野以捕获全局特征。借助图像级注意力，transformers 能够建模长程依赖，并通过像素序列分布的自回归建模生成多样内容。然而，自回归 transformers 中的单向注意力是次优的，因为破损图像区域可能具有任意形状且上下文来自任意方向。我们提出 BAT-Fill，一种创新的图像修复框架，引入了用于图像修复的新型双向自回归 transformer（BAT）。BAT 利用 transformers 学习自回归分布，自然允许缺失内容的多样生成。此外，它融合了类似 BERT 的掩码语言模型，能够对缺失区域的上下文信息进行双向建模以获得更好的图像补全。在多个数据集上的大量实验表明，BAT-Fill 在图像修复的多样性和保真度上均取得了定性与定量的优越表现。
引用
@article{arxiv.2104.12335,
title = {Diverse Image Inpainting with Bidirectional and Autoregressive Transformers},
author = {Yingchen Yu and Fangneng Zhan and Rongliang Wu and Jianxiong Pan and Kaiwen Cui and Shijian Lu and Feiying Ma and Xuansong Xie and Chunyan Miao},
journal= {arXiv preprint arXiv:2104.12335},
year = {2021}
}
备注
11 pages, 6 figures