用单一深度学习模型替代移动端相机 ISP
计算机视觉与模式识别
2020-02-14 v1 图形学
图像与视频处理
摘要
随着移动摄影的日益普及，如今大量精力被投入到构建复杂的手工相机 ISP 解决方案中。在本工作中，我们证明即便是最复杂的 ISP 流水线也可被单一端到端深度学习模型替代，该模型在训练时无需关于特定设备中传感器和光学件的任何先验知识。为此，我们提出 PyNET，一种为细粒度图像复原设计的新型金字塔形 CNN 架构，它隐式地学习执行所有 ISP 步骤，如图像去马赛克、去噪、白平衡、色彩与对比度校正、去摩尔纹等。该模型被训练为将直接从移动相机传感器获得的 RAW Bayer 数据转换为用专业高端 DSLR 相机拍摄的照片，使解决方案独立于任何特定的移动 ISP 实现。为在真实数据上验证所提方法，我们收集了一个大规模数据集，包含用 Huawei P20 手机相机（12.3 MP Sony Exmor IMX380 传感器）和 Canon 5D Mark IV DSLR 在野外拍摄的一万对全分辨率 RAW-RGB 图像。实验表明，所提方案可轻松达到嵌入式 P20 ISP 流水线的水平，而后者与我们的方法不同，是结合了来自两个（RGB + 黑白）相机传感器的数据。本文使用的数据集、预训练模型和代码可在项目网站上获取。
引用
@article{arxiv.2002.05509,
title = {Replacing Mobile Camera ISP with a Single Deep Learning Model},
author = {Andrey Ignatov and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:2002.05509},
year = {2020}
}