学习双像素对齐用于散焦去模糊

在真实世界应用中，从单张散焦模糊图像恢复清晰图像是一项具有挑战性的任务。在许多现代相机上，双像素（DP）传感器生成双图像视图，基于其可利用立体信息以利于散焦去模糊。尽管现有 DP 散焦去模糊方法取得了令人印象深刻的成果，DP 图像视图之间的错位仍未被研究，这为改进 DP 散焦去模糊留下了空间。本工作中，我们提出一种用于散焦去模糊的双像素对齐网络（DPANet）。总体上，DPANet 是一个带跳跃连接的编码器-解码器，其中编码器内两条参数共享的分支用于从左、右视图提取并对齐深度特征，一个解码器用于融合对齐特征以预测清晰图像。由于 DP 视图遭受不同模糊量，对齐左、右视图并非易事。为此，我们提出新颖的编码器对齐模块（EAM）和解码器对齐模块（DAM）。特别地，EAM 中引入相关层以度量 DP 视图间的视差，其深度特征随后可利用可变形卷积相应对齐。DAM 可进一步增强来自编码器的跳跃连接特征与解码器中深度特征的对齐。通过引入若干 EAM 与 DAM，DPANet 中的 DP 视图可被良好对齐，以更好地预测潜在清晰图像。在真实世界数据集上的实验结果表明，我们的 DPANet 在减少散焦模糊同时恢复视觉可信的清晰结构与纹理方面，显著优于最先进的去模糊方法。