用于立体图像去雨的多维查询与交互网络
计算机视觉与模式识别
2023-09-20 v1
摘要
消除立体图像中的雨致退化是一项艰巨挑战，其需要高效利用双视图间存在的互信息。为此，我们设计了 MQINet，它采用多维查询与交互来实现立体图像去雨。更具体地，我们的方法引入了上下文感知的维度查询块（CDQB）。该模块利用独立于输入特征的维度查询，并采用全局上下文感知注意力（GCA）来捕获本质特征，同时避免冗余或无关信息的纠缠。同时，我们基于雨图的反物理模型引入了视图内物理感知注意力（IPA）。IPA 提取对雨致退化物理特性敏感的浅层特征，从而在早期学习阶段促进减少雨相关伪影。此外，我们集成了跨视图多维交互注意力机制（CMIA），以在多维度上促进两视图间全面的特征交互。广泛的实验评估证明了我们的模型相对于 EPRRNet 和 StereoIRR 的优越性，在 PSNR 上分别实现了 4.18 dB 和 0.45 dB 的提升。代码与模型见于 \url{https://github.com/chdwyb/MQINet}。
引用
@article{arxiv.2309.10319,
title = {Multi-dimension Queried and Interacting Network for Stereo Image Deraining},
author = {Yuanbo Wen and Tao Gao and Ziqi Li and Jing Zhang and Ting Chen},
journal= {arXiv preprint arXiv:2309.10319},
year = {2023}
}
备注
submitted to ICASSP