Cylin-Painting：无缝 360° 全景图像外绘及拓展
计算机视觉与模式识别
2023-12-12 v2
摘要
图像外绘（outpainting）因能从局部视图生成完整场景，为构建 360° 全景图像提供了有价值的方案而受到越来越多的关注。由于图像外绘存在单向补全流的内在问题，先前方法将原始问题转换为修复（inpainting），从而允许双向流。然而，我们发现修复有其自身的局限性，且在某些情况下劣于外绘。如何将二者结合以取长补短迄今仍未被充分探索。本文中，我们深入分析了修复与外绘的差异，其本质上取决于在不同空间排布下源像素如何对未知区域产生贡献。受此分析启发，我们提出 Cylin-Painting 框架，其包含修复与外绘间有意义的协作，并高效融合不同排布，以在无缝圆柱面上利用二者的互补优势。然而，直接应用圆柱式卷积常因丢弃重要位置信息而产生视觉上不悦人的结果。为解决该问题，我们进一步提出可学习位置嵌入策略，将位置编码的缺失分量纳入圆柱卷积，显著改善了全景结果。需注意，尽管该算法是为图像外绘而开发，其可有效拓展至其他全景视觉任务，如目标检测、深度估计和图像超分辨率。代码将发布于 \url{https://github.com/KangLiao929/Cylin-Painting}。
引用
@article{arxiv.2204.08563,
title = {Cylin-Painting: Seamless {360\textdegree} Panoramic Image Outpainting and Beyond},
author = {Kang Liao and Xiangyu Xu and Chunyu Lin and Wenqi Ren and Yunchao Wei and Yao Zhao},
journal= {arXiv preprint arXiv:2204.08563},
year = {2023}
}