基于门控卷积与上下文重建损失的全景图像修复
图像与视频处理
2024-03-20 v1 计算机视觉与模式识别
机器学习
多媒体
摘要
基于深度学习的方法在全景图像修复任务中已展现出令人鼓舞的结果。然而，现有方法难以区分有效像素与无效像素，并难以找到适合受损区域的参考内容，从而导致修复结果中出现伪影。针对这些挑战，我们提出了一种全景图像修复框架，包含一个面生成器、一个立方体生成器、一个侧分支以及两个判别器。我们使用立方体贴图投影（CMP）格式作为网络输入。生成器采用门控卷积来区分有效像素与无效像素，同时设计了一个侧分支，利用上下文重建（CR）损失引导生成器为缺失区域寻找最合适的参考块。在 SUN360 街景数据集上，就 PSNR 和 SSIM 指标而言，所提方法与最先进（SOTA）方法进行了比较。实验结果和消融研究表明，所提方法在定量和定性方面均优于 SOTA 方法。
引用
@article{arxiv.2402.02936,
title = {Panoramic Image Inpainting With Gated Convolution And Contextual Reconstruction Loss},
author = {Li Yu and Yanjun Gao and Farhad Pakdaman and Moncef Gabbouj},
journal= {arXiv preprint arXiv:2402.02936},
year = {2024}
}
备注
Copyright 2024 IEEE - to appear in IEEE ICASSP 2024