OSLO：面向全景图像的球面学习及其在 360 度图像压缩中的应用
图像与视频处理
2022-09-21 v2 计算机视觉与模式识别
摘要
最先进的 2D 图像压缩方案依赖于卷积神经网络（CNNs）的强大能力。尽管 CNN 为 2D 图像压缩提供了有前景的视角，但将此类模型扩展到全景图像并非易事。首先，全景图像具有特定的空间和统计特性，当前 CNN 模型无法完全捕获。其次，构成 CNN 架构的基本数学运算（例如平移和采样）在球面上并未良好定义。本文中，我们研究全景图像的表示模型学习，并提出利用 HEALPix 球面均匀采样的性质来重新定义用于全景图像的深度学习模型中的数学工具。具体而言，我们：i）提出球面上新卷积运算的定义，其保持经典 2D 卷积的高表达力与低复杂度；ii）将标准 CNN 技术如步长、迭代聚合和像素重排适配到球面域；然后 iii）将我们的新框架应用于全景图像压缩任务。我们的实验表明，我们提出的球面方案带来了更好的压缩增益，相比应用于等距柱状投影图像的类似学习模型可节省 13.7% 的比特率。此外，与基于图卷积网络的学习模型相比，我们的方案支持更具表达力的滤波器，能够保留高频信息并提供更好的压缩图像感知质量。这些结果证明了所提框架的有效性，其为其他全景视觉任务在球面流形上的有效实现开辟了新研究途径。
引用
@article{arxiv.2107.09179,
title = {OSLO: On-the-Sphere Learning for Omnidirectional images and its application to 360-degree image compression},
author = {Navid Mahmoudian Bidgoli and Roberto G. de A. Azevedo and Thomas Maugey and Aline Roumy and Pascal Frossard},
journal= {arXiv preprint arXiv:2107.09179},
year = {2022}
}
备注
Accepted for publication in IEEE Transactions on Image Processing