基于混合视差补偿的神经立体视频压缩
计算机视觉与模式识别
2025-10-28 v2 图像与视频处理
摘要
视差补偿是立体视频压缩（SVC）中利用跨视图冗余信息的主要策略，可归类为两种类型：一种采用显式水平平移，另一种利用隐式跨注意力机制以减少跨视图视差冗余。本文提出了一种混合视差补偿（HDC）策略，利用显式像素位移作为稳健的先验特征以简化优化，并对后续的隐式跨注意力机制进行warping 操作，以捕获更广泛的视差信息。具体而言，HDC 首先通过融合水平平移后的跨视图特征来计算相似度图，从而捕获像素位移信息。该相似度图被归一化为“显式像素级注意力得分”，用于执行跨注意力机制，隐式地将一个视图中的特征对齐到另一个视图。基于 HDC，我们引入了一种新型的端到端优化神经立体视频压缩框架，将 HDC 模块集成到关键编码操作中，包括跨视图特征提取与重建（HDC-FER）和跨视图熵模型（HDC-EM）。在覆盖自动驾驶和通用场景的 SVC 数据集（KITTI 2012、KITTI 2015 和 Nagoya）上进行大量实验，表明本框架在神经方法和传统 SVC 方法上均取得优异性能。
引用
@article{arxiv.2504.20383,
title = {Neural Stereo Video Compression with Hybrid Disparity Compensation},
author = {Shiyin Jiang and Zhenghao Chen and Minghao Han and Shuhang Gu},
journal= {arXiv preprint arXiv:2504.20383},
year = {2025}
}