面向全景视频超分辨率的时空失真感知网络
计算机视觉与模式识别
2025-08-07 v3
摘要
全景视频(ODVs)通过捕获360{\deg}场景提供沉浸式视觉体验。随着虚拟/增强现实、元宇宙和生成式人工智能的快速发展，ODVs的高质量需求日益增长。然而，ODVs常因其宽阔视野以及捕获设备和传输带宽的限制而 suffer from低分辨率。虽然视频超分辨率(SR)是一种有效的视频质量提升技术，但当应用于ODVs时，现有方法的性能上限和实际泛化性受到其独特属性的限制。为缓解ODVs的空间投影失真和时间 flickering问题，本文提出了时空失真感知网络(STDAN)，采用联合时空对齐与重建。具体而言，我们在时空连续对齐(STCA)的平行中引入了时空连续对齐，以减轻离散几何瑕疵。随后，我们引入交错多帧重建(IMFR)以增强时序一致性。此外，我们采用纬度显著性自适应(LSA)权重以聚焦于纹理复杂度和人类观看兴趣较高的区域。通过探索时空联合框架和现实世界观看策略，STDAN有效增强了ODV-SR数据集上的时空一致性，并确保了可负担的计算成本。广泛的实验结果表明，STDAN在提升ODVs的视觉保真度和动态平滑度方面优于最先进的方法。
关键词
引用
@article{arxiv.2410.11506,
title = {Spatio-Temporal Distortion Aware Omnidirectional Video Super-Resolution},
author = {Hongyu An and Xinfeng Zhang and Shijie Zhao and Li Zhang and Ruiqin Xiong},
journal= {arXiv preprint arXiv:2410.11506},
year = {2025}
}