2S-ODIS：基于几何畸变校正的双阶段全向图像合成
计算机视觉与模式识别
2024-09-17 v1 图像与视频处理
摘要
全向图像在虚拟现实和社交网络服务等应用中日益受到关注，但由于需要专业摄像设备，其可用性相较于普通视野（NFoV）图像有限。因此，基于生成对抗网络（GAN）的多种方法被提出用于全向图像合成，但这些方法在模型训练时存在不稳定性和显著计算耗时的问题。为此，本文提出一种新颖的全向图像合成方法，2S-ODIS（Two-Stage Omni-Directional Image Synthesis），实现高质量全向图像生成，同时大幅降低训练时间。该方法利用在大规模NFoV图像数据库（如ImageNet）上预训练的VQGAN（Vector Quantized GAN）模型，无需微调。由于该预训练模型无法直接应用于等距矩形投影（ERP）中的全向图像畸变，因此采用双阶段结构：首先在ERP中生成全局粗糙图像，再整合多个高分辨率NFoV图像进行细化，以补偿ERP中的畸变，均基于预训练的VQGAN模型。结果表明，所提方法2S-ODIS将训练时间从OmniDreamer的14天缩短至仅4天，且生成图像质量更高。
引用
@article{arxiv.2409.09969,
title = {2S-ODIS: Two-Stage Omni-Directional Image Synthesis by Geometric Distortion Correction},
author = {Atsuya Nakata and Takao Yamanaka},
journal= {arXiv preprint arXiv:2409.09969},
year = {2024}
}
备注
ECCV2024 https://github.com/islab-sophia/2S-ODIS