PIINET: 一种使用立方体贴图的360度全景图像修复网络
图像与视频处理
2021-01-27 v2 计算机视觉与模式识别
摘要
修复(inpainting)在计算机视觉领域得到了持续研究。随着人工智能技术的发展,深度学习技术被引入修复研究,助力性能提升。目前,使用深度学习的修复算法的输入目标已从单幅图像研究到视频。然而,基于深度学习的全景图像修复技术尚未得到积极研究。我们提出了一种使用生成对抗网络(GANs)的360度全景图像修复方法。所提出的网络输入360度等距柱状(equirectangular)格式全景图像,将其转换为失真相对较小的立方体贴图(cube map)格式,并将其用作训练网络。由于使用了立方体贴图格式,需要考虑立方体贴图六个面之间的相关性。因此,将立方体贴图的所有面作为整体判别网络的输入,并将立方体贴图的每个面作为切片判别网络的输入,以判断生成图像的真实性。所提出的网络在定性上优于现有的单图像修复算法和基线算法。
引用
@article{arxiv.2010.16003,
title = {PIINET: A 360-degree Panoramic Image Inpainting Network Using a Cube Map},
author = {Seo Woo Han and Doug Young Suh},
journal= {arXiv preprint arXiv:2010.16003},
year = {2021}
}