缩放以学习，学习以缩放
计算机视觉与模式识别
2019-05-14 v1 图像与视频处理
摘要
本文表明，当将机器学习应用于摄影的数字缩放时，使用真实的 RAW 传感器数据进行训练是有益的。现有的基于学习的超分辨率方法不使用真实的传感器数据，而是在 RGB 图像上操作。在实践中，这些方法在对远处图像区域放大时，其数字缩放输出会丢失细节与精度。我们还表明，通过重采样高分辨率 RGB 图像来合成传感器数据是对真实传感器数据与噪声的过度简化近似，导致更差的图像质量。使用真实传感器数据进行训练的关键障碍是缺少真实的高分辨率图像。我们展示了如何通过光学缩放图像获得真实数据，并贡献了一个用于真实世界计算缩放的数据集 SR-RAW。我们使用 SR-RAW 训练了一个具有新颖上下文双边损失（CoBi）的深度网络，该损失对输入输出图像对中的轻微错位提供了关键的鲁棒性。训练后的网络在 4X 和 8X 计算缩放中达到了最先进的性能。
引用
@article{arxiv.1905.05169,
title = {Zoom To Learn, Learn To Zoom},
author = {Xuaner Cecilia Zhang and Qifeng Chen and Ren Ng and Vladlen Koltun},
journal= {arXiv preprint arXiv:1905.05169},
year = {2019}
}
备注
CVPR 2019, https://ceciliavision.github.io/project-pages/project-zoom.html (paper, video, supp, code, dataset)