360U-Former：基于全景适应视觉变换器的 HDR 照明估计
计算机视觉与模式识别
2024-10-18 v1 图形学
摘要
最近的照明估计方法聚焦于提升分辨率、改善生成纹理的质量和多样性。然而，很少探索针对用于图像基 lighting 的等距全景 (ERP) 格式定制神经网络架构。因此，常规的高动态范围图像 (HDRI) 结果通常在侧边边界处存在接缝，且纹理或对象在极点处被扭曲。为解决此不足，我们提出一种新型架构 360U-Former，基于 U-Net 风格视觉变换器，利用 PanoSWIN 的工作，即针对 ERP 格式的适应性偏移窗口注意力。据我们了解，这是该领域首个纯粹的视觉变换器模型用于照明估计。我们以 GAN 方式训练 360U-Former，从有限视场低动态范围图像 (LDRI) 生成 HDRI。我们采用当前照明估计评估协议和数据集进行评估，证明该方法在不典型 ERP 格式伴随的伪影情况下超过现有和最先进的方法。
引用
@article{arxiv.2410.13566,
title = {360U-Former: HDR Illumination Estimation with Panoramic Adapted Vision Transformers},
author = {Jack Hilliard and Adrian Hilton and Jean-Yves Guillemaut},
journal= {arXiv preprint arXiv:2410.13566},
year = {2024}
}
备注
Accepted at AIM Workshop 2024 at ECCV 2024, 18 pages, 6 figures