用于学习型全向图像压缩的拟柱面卷积
图像与视频处理
2021-12-28 v1 计算机视觉与模式识别
摘要
尽管等距柱状投影（ERP）是存储全向图像（又称360度图像）的一种便捷形式，但它既非等面积也非保角，因此对后续视觉传输并不友好。在图像压缩领域，ERP会对两极附近的事物与物体进行过采样和变形，使得感知最优的比特分配难以实现。在传统的360度图像压缩中，引入了区域打包和分块表示等技术来缓解过采样问题，但成效有限。本文中，我们率先尝试学习深度神经网络用于全向图像压缩。我们首先将参数化拟柱面表示描述为常见拟柱面地图投影的推广。提出了一种计算可行的贪心方法，以针对率失真性能的新代理目标确定拟柱面表示的（次）优配置。随后我们提出用于360度图像压缩的拟柱面卷积。在参数化表示的合理约束下，拟柱面卷积可通过标准卷积与所谓的拟柱面填充高效实现。为验证我们方法的可行性，我们实现了一个端到端的360度图像压缩系统，由学习型拟柱面表示、分析变换、非均匀量化器、合成变换以及熵模型组成。在幅全向图像上的实验结果表明，我们的方法在率失真性能上始终优于对比方法。此外，在所有码率下，我们方法对所有图像的视觉质量均有显著提升。
引用
@article{arxiv.2112.13227,
title = {Pseudocylindrical Convolutions for Learned Omnidirectional Image Compression},
author = {Mu Li and Kede Ma and Jinxing Li and David Zhang},
journal= {arXiv preprint arXiv:2112.13227},
year = {2021}
}