将 VertexShuffle 应用于聚焦二十面体网格上的 360 度视频超分辨率
图像与视频处理
2021-06-22 v1 计算机视觉与模式识别
多媒体
摘要
随着 360 度图像/视频、增强现实（AR）和虚拟现实（VR）的兴起，对球面信号进行分析和处理的需求大幅增长。然而，大量工作集中于由球面信号投影得到的平面信号，这导致诸如像素浪费、畸变等问题。球面 CNN 的最新进展为直接分析球面信号提供了可能。但它们关注完整网格，由于极大的带宽需求，难以处理真实应用场景中的情况。为解决 360 度视频流中的带宽浪费问题并节省计算，我们利用聚焦二十面体网格（Focused Icosahedral Mesh）表示一小块区域，并构造矩阵将球面内容旋转至聚焦网格区域。我们还提出一种新颖的 VertexShuffle 操作，与 UGSCNN 中引入的原始 MeshConv Transpose 操作相比，能显著提升性能与效率。我们进一步将所提方法应用于超分辨率模型，这是首个直接作用于 360 度数据的球面像素网格表示上的球面超分辨率模型。为评估模型，我们还收集了一组高分辨率 360 度视频以生成球面图像数据集。实验表明，与采用简单 MeshConv Transpose 操作的基线球面超分辨率模型相比，我们的模型在性能与推理时间上均获益显著。总之，我们的模型在 360 度输入上实现了优异的超分辨率性能，在网格上超分辨 16 倍顶点时平均达到 32.79 dB PSNR。
引用
@article{arxiv.2106.11253,
title = {Applying VertexShuffle Toward 360-Degree Video Super-Resolution on Focused-Icosahedral-Mesh},
author = {Na Li and Yao Liu},
journal= {arXiv preprint arXiv:2106.11253},
year = {2021}
}
备注
This paper introduce a new mesh representation and a new upsampling method on a mesh