ECSIC:用于立体图像压缩的对极交叉注意力
图像与视频处理
2023-12-11 v2 计算机视觉与模式识别
机器学习
摘要
本文提出 ECSIC,一种用于立体图像压缩的新型学习方法。我们所提方法利用一种新颖的立体交叉注意力(SCA)模块与两个立体上下文模块,通过挖掘立体图像对中两幅图像的互信息,以联合方式压缩左右图像。SCA 模块执行限于两图像对应对极线上的交叉注意力并并行处理。立体上下文模块通过将第一幅图像作为上下文,改进第二幅编码图像的熵估计。我们进行了广泛的消融研究以证明所提模块的有效性,并与现有方法进行了全面的定量与定性比较。ECSIC 在 Cityscapes 与 InStereo2k 两个流行立体图像数据集上取得立体图像压缩的当前最优(SOTA)性能,同时支持快速编码与解码。
引用
@article{arxiv.2307.10284,
title = {ECSIC: Epipolar Cross Attention for Stereo Image Compression},
author = {Matthias Wödlinger and Jan Kotera and Manuel Keglevic and Jan Xu and Robert Sablatnig},
journal= {arXiv preprint arXiv:2307.10284},
year = {2023}
}