学习聚合透射传播网络用于去雾及更广泛任务
计算机视觉与模式识别
2018-08-01 v2
摘要
单幅图像去雾是一项重要的底层视觉任务,具有诸多应用。早期研究探讨了各类视觉先验以解决此问题。然而,当其假设在特定图像上不成立时,它们可能失效。近期的深度网络在此任务中也取得了相对较好的性能。但不幸的是,由于忽视雾霾中丰富的物理规律,其训练需要大量数据。更重要的是,当测试图像中存在完全不同的雾霾分布时,它们仍可能失效。通过考虑这两种视角的协作,本文设计了一种新颖的残差架构,以聚合先验(即领域知识)与数据(即雾霾分布)信息来传播透射率以进行场景辐射估计。我们进一步提出一种基于变分能量的视角,以探究我们所聚合深度模型的内在传播行为。由此,我们实际上弥合了先验驱动模型与数据驱动网络之间的鸿沟,并利用以往去雾方法的优势而避免其局限。提出了一种轻量级学习框架来训练我们的传播网络。最后,通过引入带有灵活优化方案的任务感知图像分离公式,我们将所提模型扩展至更具挑战性的视觉任务,如水下图像增强与单幅图像去雨。在合成与真实世界图像上的实验证明了所提框架的有效性与高效性。
引用
@article{arxiv.1711.06787,
title = {Learning Aggregated Transmission Propagation Networks for Haze Removal and Beyond},
author = {Risheng Liu and Xin Fan and Minjun Hou and Zhiying Jiang and Zhongxuan Luo and Lei Zhang},
journal= {arXiv preprint arXiv:1711.06787},
year = {2018}
}