自增强相机图像与信号处理的强化学习

当前的相机图像与信号处理流水线（ISP），包括深度训练版本，往往施加均匀应用于整幅图像的单一滤波器。尽管大多数采集的相机图像具有空间异质伪影，情况依然如此。这种空间异质性在图像空间中表现为变化的莫尔环、运动模糊、色彩褪化或基于镜头的投影畸变。而且，这些图像伪影的组合可出现在所采集图像中的小或大像素邻域内。本文提出一种在习得隐子空间中工作的深度强化学习模型，通过基于块的空间自适应伪影滤波与图像增强递归地改善相机图像质量。我们的\textit{递归自增强强化学习}（RSE-RL）模型将伪影识别与校正视为递归自学习与自改进过程，由两个主要子模块组成：（i）通过变分自编码器获得的隐特征子空间聚类/分组，实现噪声与干净图像块间对应与差异的快速识别。（ii）自适应习得变换由soft actor-critic智能体控制，利用其最近邻干净块的特征距离渐进滤波并增强噪声块。基于块ISP中可能引入的人工伪影，也通过基于奖励的去块恢复与图像增强予以去除。我们通过递归地在图像上训练与测试展示模型的自我改进特性，其中每轮生成的增强图像为RSE-RL训练-滤波流水线提供自然的数据增广与鲁棒性。我们的方法在异质噪声与伪影去除方面展现优势。