全景图像到图像翻译
计算机视觉与模式识别
2023-04-12 v1
摘要
本文首次攻克全景图像到图像翻译（Pano-I2I）这一极具挑战性的任务。该任务因全景图像的几何畸变以及缺乏具有天气或时间等多样条件的全景图像数据集而十分困难。为应对这些挑战，我们提出一种全景畸变感知的I2I模型，在保持全景图像结构的同时，参考针孔图像一致地翻译其全局风格。为缓解朴素360全景翻译中的畸变问题，我们在transformer编码器中采用球面位置嵌入，引入无畸变判别器，并应用基于球面的旋转进行增强及其集成。我们还设计了对形变感知的内容编码器与风格编码器，以处理全景图与针孔图像间的较大域差距，使我们能处理针孔图像的多样条件。此外，考虑到全景图与针孔图像间的巨大差异，我们的框架将全景重建阶段的学习过程与翻译阶段解耦。我们在将StreetLearn数据集的白天图像翻译为多样条件的任务上，展示了相较现有I2I模型的显著提升。代码将公开于线上以供社区使用。
引用
@article{arxiv.2304.04960,
title = {Panoramic Image-to-Image Translation},
author = {Soohyun Kim and Junho Kim and Taekyung Kim and Hwan Heo and Seungryong Kim and Jiyoung Lee and Jin-Hwa Kim},
journal= {arXiv preprint arXiv:2304.04960},
year = {2023}
}