通过真实建模双像素数据来学习减轻散焦模糊
图像与视频处理
2021-08-18 v2 计算机视觉与模式识别
摘要
近期研究表明，利用现代双像素（DP）传感器上可用的双图像视图进行数据驱动的散焦去模糊取得了令人印象深刻的成果。该研究方向的一个重大挑战是获取 DP 数据。尽管许多相机配备 DP 传感器，但仅有少数提供对底层 DP 传感器图像的访问。此外，采集散焦去模糊的训练数据需要耗时且繁琐的 setup，要求调整相机光圈。一些带有 DP 传感器的相机（例如智能手机）没有可调光圈，进一步限制了生成必要训练数据的能力。我们通过提出一种合成生成真实 DP 数据的流程来解决数据采集瓶颈。我们的合成方法模拟了 DP 传感器上的光学成像过程，并可应用于标准计算机软件渲染的虚拟场景。利用这些真实合成 DP 图像，我们引入了循环卷积网络（RCN）架构，该架构改善了去模糊结果，并适用于 DP 传感器捕获的单帧和多帧数据（例如视频）。最后，我们表明我们的合成 DP 数据对于训练面向视频去模糊应用的 DNN 模型是有用的，而此类应用中获取 DP 数据仍然具有挑战性。
引用
@article{arxiv.2012.03255,
title = {Learning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel Data},
author = {Abdullah Abuolaim and Mauricio Delbracio and Damien Kelly and Michael S. Brown and Peyman Milanfar},
journal= {arXiv preprint arXiv:2012.03255},
year = {2021}
}