利用分层VQ-VAE生成多样化结构的图像修复
计算机视觉与模式识别
2021-03-19 v1
摘要
给定一张无额外约束的不完整图像，只要结果看起来合理，图像修复本允许多种解。近来已提出多解修复方法并展示了生成多样结果的潜力。然而，这些方法难以保证每个解的质量，例如产生扭曲的结构和/或模糊的纹理。我们提出一种用于多样修复的两阶段模型，第一阶段生成多个具有不同结构的粗糙结果，第二阶段通过增强纹理分别细化每个粗糙结果。所提模型受分层矢量量化变分自编码器（VQ-VAE）启发，其分层架构解耦了结构与纹理信息。此外，VQ-VAE中的矢量量化支持对结构信息离散分布的自回归建模。从该分布采样可轻松生成多样且高质量的结构，构成模型的第一阶段。在第二阶段，我们在纹理生成网络内提出结构注意力模块，该模块利用结构信息捕获远距离关联。我们进一步复用VQ-VAE计算两种特征损失，分别有助于改善结构连贯性与纹理真实感。在CelebA-HQ、Places2和ImageNet数据集上的实验结果表明，我们的方法不仅增强了修复解的多样性，也提升了生成多张图像的视觉质量。代码与模型见：https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting。
引用
@article{arxiv.2103.10022,
title = {Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE},
author = {Jialun Peng and Dong Liu and Songcen Xu and Houqiang Li},
journal= {arXiv preprint arXiv:2103.10022},
year = {2021}
}
备注
Accepted in CVPR 2021