点云辅助的神经图像压缩
图像与视频处理
2024-12-17 v1 计算机视觉与模式识别
摘要
高效图像压缩是一个关键需求。在多种传感器捕获多种模态数据的若干场景中，现有仅图像编解码器未充分利用来自其他模态的辅助信息，导致压缩效率次优。在本文中，我们借助点云提高图像压缩性能，点云在自动驾驶领域被广泛采用。我们首先统一两种模态的数据表示以促进数据处理。然后，我们提出点云辅助神经图像编解码器（PCA-NIC），通过利用高维点云信息增强图像纹理和结构的保留。我们进一步引入多模态特征融合变换模块（MMFFT），以捕获更具代表性的图像特征，去除与图像内容无关的通道和模态之间的冗余信息。我们的工作是首次使用点云提高图像压缩性能，并实现了最先进的性能。
引用
@article{arxiv.2412.11771,
title = {Point Cloud-Assisted Neural Image Compression},
author = {Ziqun Li and Qi Zhang and Xiaofeng Huang and Zhao Wang and Siwei Ma and Wei Yan},
journal= {arXiv preprint arXiv:2412.11771},
year = {2024}
}