全视角视差对齐机制：用于分布式多视图图像压缩的 OmniParallax 注意力机制
计算机视觉与模式识别
2026-03-05 v1
摘要
多视图图像压缩（MIC）旨在通过利用图像间的相关性来实现高压缩效率，在3D应用中发挥着关键作用。作为MIC的一个子领域，分布式多视图图像压缩（DMIC）在不需编码端使用视图间信息的情况下，能够实现与MIC相当的性能。然而，现有DMIC方法通常将所有图像等对待，忽略解码时不同视图之间相关性程度的差异，这导致编码性能次优。为解决这一限制，我们提出了一种 novel 的 OmniParallax 注意力机制（OPAM），这是一种通用的机制，用于显式建模任意信息源之间对的相关性和对齐特征。基于OPAM，我们提出了一种视差多信息融合模块（PMIFM），用于自适应整合来自不同来源的信息。PMIFM被集成到联合解码器和熵模型中，以构建我们的端到端DMIC框架 ParaHydra。大量实验表明，ParaHydra 是首个能够显著超越最先进MIC编码器的DMIC方法，同时保持较低的计算开销。随着输入视图数量的增加，性能提升也变得更为显著。与LDMIC相比，ParaHydra 在WildTrack(3) 上的比特率节省高达19.72%，在WildTrack(6) 上的比特率节省最高可达24.18%，并显著提升了编码效率（解码时最高可提升至65倍，编码时最高可提升至34倍）。
引用
@article{arxiv.2603.03615,
title = {Parallax to Align Them All: An OmniParallax Attention Mechanism for Distributed Multi-View Image Compression},
author = {Haotian Zhang and Feiyue Long and Yixin Yu and Jian Xue and Haocheng Tang and Tongda Xu and Zhenning Shi and Yan Wang and Siwei Ma and Jiaqi Zhang},
journal= {arXiv preprint arXiv:2603.03615},
year = {2026}
}
备注
Accepted by CVPR 2026