FFCA-Net: 通过侧信息的快速级联对齐实现立体图像压缩
图像与视频处理
2024-01-01 v2 计算机视觉与模式识别
摘要
多视角压缩技术，尤其是立体图像压缩（SIC），在车载摄像头和3D相关应用中起着至关重要的作用。有趣的是，分布式信源编码（DSC）理论表明，通过独立编码和联合解码可以实现相关信源的高效数据压缩。这推动了近年来快速发展的深度分布式SIC方法。然而，这些方法忽略了立体成像任务的独特特性，并导致较高的解码延迟。为解决这一局限，我们提出了一种基于特征的快速级联对齐网络（FFCA-Net），以充分利用解码器端的侧信息。FFCA采用从粗到细的级联对齐方法。在初始阶段，FFCA利用基于立体先验的特征域块匹配模块。该模块减少了平凡匹配方法搜索空间中的冗余，并进一步减轻了噪声的引入。在后续阶段，我们利用一个基于沙漏结构的稀疏立体精化网络，以较低的计算成本进一步对齐图像间特征。此外，我们设计了一个轻量级且高性能的特征融合网络，称为快速特征融合网络（FFF），用于解码对齐后的特征。在InStereo2K、KITTI和Cityscapes数据集上的实验结果表明，我们的方法显著优于传统和基于学习的SIC方法。特别是，我们的方法在解码速度上比其他方法快3到10倍。
引用
@article{arxiv.2312.16963,
title = {FFCA-Net: Stereo Image Compression via Fast Cascade Alignment of Side Information},
author = {Yichong Xia and Yujun Huang and Bin Chen and Haoqian Wang and Yaowei Wang},
journal= {arXiv preprint arXiv:2312.16963},
year = {2024}
}