用于统一单图像去雨与去雪的跨针迹多任务双重递归网络
计算机视觉与模式识别
2022-11-16 v1
摘要
我们提出了跨针迹多任务统一双重递归网络(CMUDRN)模型,面向多任务学习设定下的统一去雨与去雪任务。该统一模型借鉴了 Cai 等人提出的基本双重递归网络(DRN)架构。所提模型利用跨针迹单元(cross-stitch unit)在两个独立的 DRN 模型之间实现多任务学习,分别用于单图像去雨和去雪。通过在基本的任务专用 DRN 网络的若干层固定跨针迹单元,我们在两个独立的 DRN 模型上执行多任务学习。为实现盲图像复原,在这些结构之上我们采用一种简单的神经融合方案来合并每个 DRN 的输出。任务专用的独立 DRN 模型与融合方案通过施加局部和全局监督同时训练。局部监督应用于两个 DRN 子模块,全局监督应用于所提模型的数据融合子模块。因此,我们既实现了跨任务专用 DRN 模型的特征共享,又控制了 DRN 子模块的图像复原行为。消融实验显示了假设的 CMUDRN 模型的优势,实验表明其在单图像去雨和去雪任务上的性能与基线 DRN 模型相当或更好。此外,CMUDRN 通过朴素参数化融合方案统一任务专用的图像复原流程,为这两个底层图像复原任务实现了盲图像复原。CMUDRN 的实现见 https://github.com/VCL3D/CMUDRN。
引用
@article{arxiv.2211.08290,
title = {Cross-Stitched Multi-task Dual Recursive Networks for Unified Single Image Deraining and Desnowing},
author = {Sotiris Karavarsamis and Alexandros Doumanoglou and Konstantinos Konstantoudakis and Dimitrios Zarpalas},
journal= {arXiv preprint arXiv:2211.08290},
year = {2022}
}
备注
6 pages, 4 figures, conference