学习核调制神经表示以实现高效光场压缩
计算机视觉与模式识别
2023-07-13 v1 图像与视频处理
摘要
光场是一种通过记录场景在不同方向上发出的光线来捕获 3D 场景信息的图像数据。它比经典 2D 图像提供更沉浸式的感知，但代价是巨大的数据量。在本文中，我们从光场的子孔径图像（SAI）的视觉特性中汲取灵感，为光场压缩任务设计了一种紧凑的神经网络表示。网络主干以随机初始化的噪声作为输入，并在目标光场的 SAI 上受监督。它由两类互补的核组成：描述核（descriptor）存储训练期间学习的场景描述信息，以及调制核（modulator）控制从查询视角渲染不同的 SAI。为了进一步增强网络的紧凑性同时保留解码光场的高质量，我们相应引入了调制器分配与核张量分解机制，继而采用非均匀量化与无损熵编码技术，最终形成高效的压缩流水线。大量实验表明，我们的方法在光场压缩任务中以显著优势优于其他最先进（SOTA）方法。此外，在对齐描述符后，从一个光场学习到的调制器可迁移到新光场以渲染密集视角，表明了一种用于视角合成任务的潜在方案。
引用
@article{arxiv.2307.06143,
title = {Learning Kernel-Modulated Neural Representation for Efficient Light Field Compression},
author = {Jinglei Shi and Yihong Xu and Christine Guillemot},
journal= {arXiv preprint arXiv:2307.06143},
year = {2023}
}