WavePaint：面向自监督修复的高效资源令牌混合器
计算机视觉与模式识别
2023-07-04 v1 人工智能
摘要
图像修复指对图像中缺失区域进行合成，可帮助恢复被遮挡或退化的区域，也可作为自监督的前置任务。当前最先进的图像修复模型计算开销大，因为它们基于在对抗或扩散设置下训练的 transformer 或 CNN 骨干网络。本文偏离视觉 transformer，采用基于 WaveMix 的计算高效全卷积架构——WavePaint。它使用二维离散小波变换（DWT）进行空间与多分辨率令牌混合，并结合卷积层。所提模型在重建质量上优于当前最先进的图像修复模型，同时参数量不到其一半，且训练与评估时间显著降低。我们的模型即使在 CelebA-HQ 数据集上未使用可对抗训练的判别器，也优于当前基于 GAN 的架构。我们的工作表明，依据自然图像先验建模的神经网络架构需要更少的参数与计算量，即可达到与 transformer 相当的泛化能力。
引用
@article{arxiv.2307.00407,
title = {WavePaint: Resource-efficient Token-mixer for Self-supervised Inpainting},
author = {Pranav Jeevan and Dharshan Sampath Kumar and Amit Sethi},
journal= {arXiv preprint arXiv:2307.00407},
year = {2023}
}
备注
11 pages, 7 figures