MicroISP：利用深度学习在移动设备上处理 3200 万像素照片
计算机视觉与模式识别
2022-11-15 v1 机器学习
图像与视频处理
摘要
尽管基于神经网络的照片处理方案相比传统 ISP 系统能够提供更好的图像质量，但由于其极高的计算复杂度，它们在移动设备上的应用仍然非常有限。在本文中，我们提出了一种专为边缘设备设计的新型 MicroISP 模型，并充分考虑了它们的计算和内存限制。所提出的方案能够使用标准移动 ML 库在近期智能手机上处理高达 32MP 的照片，并且推理所需时间少于 1 秒，而对于 FullHD 图像则实现了实时性能。该模型的架构具有灵活性，允许根据具有不同计算能力的设备调整其复杂度。为了评估模型的性能，我们收集了一个新颖的 Fujifilm UltraISP 数据集，其中包含使用普通移动相机传感器和专业 102MP 中画幅 FujiFilm GFX100 相机拍摄的数千张配对照片。实验表明，尽管模型紧凑，MicroISP 模型能够提供与传统移动 ISP 系统相当或更好的视觉效果，同时优于先前提出的高效深度学习方案。最后，该模型还兼容最新的移动 AI 加速器，在智能手机 NPU 和 APU 上实现了良好的运行时间和低功耗。代码、数据集和预训练模型可在项目网站获取：https://people.ee.ethz.ch/~ihnatova/microisp.html
引用
@article{arxiv.2211.06770,
title = {MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning},
author = {Andrey Ignatov and Anastasia Sycheva and Radu Timofte and Yu Tseng and Yu-Syuan Xu and Po-Hsiang Yu and Cheng-Ming Chiang and Hsien-Kai Kuo and Min-Hung Chen and Chia-Ming Cheng and Luc Van Gool},
journal= {arXiv preprint arXiv:2211.06770},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2211.06263