改进单图像散焦去模糊：双像素图像如何通过多任务学习提供帮助
计算机视觉与模式识别
2022-02-11 v2
摘要
许多相机传感器采用双像素(DP)设计，其作为 rudimentary 光场在单次捕获中提供场景的两个子孔径视图。DP 传感器最初被开发用以改进相机的自动对焦性能。自 DP 传感器问世以来，研究者已发现 DP 数据的其他用途，如深度估计、反射去除与散焦去模糊。我们关注后者即散焦去模糊任务。具体而言，我们提出一种将两子孔径视图纳入多任务框架的单图像去模糊网络。特别地，我们表明联合学习从单张模糊输入图像预测两个 DP 视图，可提升网络学习去模糊图像的能力。我们的实验显示该多任务策略相较最先进散焦去模糊方法取得了 +1dB PSNR 的提升。此外，我们的多任务框架允许从单输入图像进行精确的 DP 视图合成（如约 39dB PSNR）。这些高质量 DP 视图可用于其他基于 DP 的应用，如反射去除。作为该工作的一部分，我们采集了包含 7,059 张高质量图像的新数据集，以支持我们的 DP 视图合成任务训练。我们的数据集、代码与训练模型公开于 https://github.com/Abdullah-Abuolaim/multi-task-defocus-deblurring-dual-pixel-nimat。
引用
@article{arxiv.2108.05251,
title = {Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning},
author = {Abdullah Abuolaim and Mahmoud Afifi and Michael S. Brown},
journal= {arXiv preprint arXiv:2108.05251},
year = {2022}
}
备注
Published in the Winter Conference on Applications of Computer Vision 2022 (WACV'22)