基于双视图互注意的立体图像去雨方法
计算机视觉与模式识别
2022-12-21 v2
摘要
立体图像包含具有视差左右视图图像，近来被用于解决低视觉任务，例如去雨和超分辨率。立体图像复原方法通常通过隐式或显式地学习双视图间的视差，获得优于单目方法的性能。然而，现有立体去雨方法仍不能充分利用两视图间的互补信息，我们发现这是因为：1）雨纹在方向和密度上具有更复杂的分布，严重破坏了互补信息并带来更大挑战；2）由于两视图间特征融合机制不完善，视差估计不够准确。为克服这些局限，我们提出了一种通过两视图间充分交互的新立体图像去雨方法(StereoIRR)，其包含：1）一种新的双视图互注意(DMA)机制，该机制将左右视图互为关键信息生成互注意图，以促进跨视图特征融合；2）由基础块和双视图互注意构建的长程跨视图交互，可减轻雨对互补信息的不利影响，帮助立体图像特征实现长程与跨视图交互及融合。值得注意的是，StereoIRR在多个数据集上优于其他相关的单目与立体图像去雨方法。我们的代码与数据集将公开。
引用
@article{arxiv.2211.10104,
title = {Stereo Image Rain Removal via Dual-View Mutual Attention},
author = {Yanyan Wei and Zhao Zhang and Zhongqiu Zhao and Yang Zhao and Richang Hong and Yi Yang},
journal= {arXiv preprint arXiv:2211.10104},
year = {2022}
}