用于可控低光视频增强的展开式分解非配对学习
计算机视觉与模式识别
2024-08-23 v1
摘要
获取具有运动的低/正常光视频对比静态图像更具挑战性，这使得非配对学习路线扮演关键角色。本文致力于在没有配对真实数据的情况下进行低光视频增强学习。与低光图像增强相比，低光视频增强更为困难，因为空间域中噪声、曝光和对比度的相互交织效应，以及时间一致性的需求。为应对上述挑战，我们提出了展开式分解非配对网络（UDU-Net），通过将优化函数展开为深度网络，将信号分解为空间和时间相关因子，并迭代更新，从而实现低光视频增强。首先，我们将低光视频增强表述为最大后验估计（MAP）问题，并精心设计空间和时间视觉正则化。然后，通过展开问题，空间和时间约束的优化可以分解为不同步骤并分阶段更新。从空间角度看，设计的Intra子网利用来自专业摄影修饰技巧的非配对先验信息来调整统计分布。此外，我们引入了一种集成人类感知反馈来指导网络优化的新机制，抑制过度/欠曝光情况。同时，为解决时间角度的问题，设计的Inter子网在渐进优化中充分利用时间线索，从而在增强结果中实现更好的时间一致性。因此，所提出的方法在室外和室内场景中的视频照明、噪声抑制和时间一致性方面均优于最先进的方法。
关键词
引用
@article{arxiv.2408.12316,
title = {Unrolled Decomposed Unpaired Learning for Controllable Low-Light Video Enhancement},
author = {Lingyu Zhu and Wenhan Yang and Baoliang Chen and Hanwei Zhu and Zhangkai Ni and Qi Mao and Shiqi Wang},
journal= {arXiv preprint arXiv:2408.12316},
year = {2024}
}