用于连拍摄影应用的迭代残差卷积神经网络
计算机视觉与模式识别
2019-04-01 v2
摘要
现代廉价成像传感器受限于固有的硬件约束，常导致所捕获图像质量较差。应对此类限制最常见的方式之一是依赖连拍摄影，如今其已成为所有现代智能手机成像应用的基础。本工作中，我们关注如下事实：连拍序列的每一帧均可由前向（物理）模型精确描述。这反过来使我们能够将由低质量图像序列恢复单幅更高质量图像的问题，作为优化问题的解来处理。受可处理非光滑函数的梯度下降法扩展（即近端梯度下降）及现代深度学习技术的启发，我们提出了一种具有透明架构的卷积迭代网络。我们的网络利用一组低质量图像帧，能够输出质量更高、恢复出原始连拍帧中均无法辨别的精细细节的图像。我们同时关注整体连拍摄影流程（即连拍去马赛克与去噪）以及传统的高斯去噪任务。所开发的方法在两项任务上均展现出一致的 SOTA 性能，且与其他近期深度学习方法不同，其对帧数或帧顺序无任何固有限制。代码见 https://fkokkinos.github.io/deep_burst/
引用
@article{arxiv.1811.12197,
title = {Iterative Residual CNNs for Burst Photography Applications},
author = {Filippos Kokkinos and Stamatios Lefkimmiatis},
journal= {arXiv preprint arXiv:1811.12197},
year = {2019}
}
备注
To appear at CVPR 2019