基于通道级交叉模态熵模型的 RGB-IR 联合图像端到端压缩
计算机视觉与模式识别
2025-06-30 v1 多媒体
图像与视频处理
摘要
RGB-IR（RGB-红外）图像对在智能监控等多个应用中同时使用，但随着模态数量增加，所需数据存储和传输成本也随之翻倍。因此，高效的 RGB-IR 数据压缩至关重要。本工作提出一种用于 RGB-IR 图像对的联合压缩框架。具体而言，为充分利用跨模态先验信息，对准上下文概率建模，本文提出通道级交叉模态熵模型（CCEM）。CCEM 中设计了低频上下文提取模块（LCEB）和低频上下文融合模块（LCFB），用于从两种模态中提取和聚合全局低频信息，从而帮助模型更准确地预测熵参数。实验结果表明，我们的方法在 LLVIP 和 KAIST 数据集上优于现有的 RGB-IR 图像对和单模态压缩方法。例如，本文提出的框架在 LLVIP 数据集上比在 CVPR 2022 上展示的领先的 RGB-IR 图像编解码器实现了 23.1% 的比特率节省。
引用
@article{arxiv.2506.21851,
title = {End-to-End RGB-IR Joint Image Compression With Channel-wise Cross-modality Entropy Model},
author = {Haofeng Wang and Fangtao Zhou and Qi Zhang and Zeyuan Chen and Enci Zhang and Zhao Wang and Xiaofeng Huang and Siwei Ma},
journal= {arXiv preprint arXiv:2506.21851},
year = {2025}
}
备注
IEEE International Conference on Systems, Man, and Cybernetics 2025. (SMC), under review