ScanGAN360：一种用于360°图像真实扫描路径的生成模型
计算机视觉与模式识别
2024-05-22 v1 图形学
摘要
理解和建模360°环境中人类注视行为的动态是计算机视觉与虚拟现实中的一项关键挑战。生成对抗方法可通过为未见图像生成大量可能的扫描路径来缓解这一挑战。然而，现有的扫描路径生成方法未能充分预测360°图像的逼真扫描路径。我们提出ScanGAN360，一种应对这一挑战性问题的新生成对抗方法。我们的网络生成器针对代表沉浸式环境的360°图像的特性进行了定制。具体而言，我们通过利用动态时间规整的球面适配作为损失函数，并提出一种新颖的360°扫描路径参数化方法来实现这一点。我们的扫描路径质量大幅优于竞争方法，并几乎达到人类基线水平。因此，ScanGAN360允许快速模拟大量行为模仿真实用户的虚拟观察者，从而更好地理解注视行为并支持虚拟场景设计中的新应用。
引用
@article{arxiv.2103.13922,
title = {ScanGAN360: A Generative Model of Realistic Scanpaths for 360$^{\circ}$ Images},
author = {Daniel Martin and Ana Serrano and Alexander W. Bergman and Gordon Wetzstein and Belen Masia},
journal= {arXiv preprint arXiv:2103.13922},
year = {2024}
}