移动GPU上基于深度学习的智能手机ISP学习与Mobile AI & AIM 2022挑战赛：报告
计算机视觉与模式识别
2022-11-09 v1 图像与视频处理
摘要
过去几年中，手机摄像头的作用显著提升，导致越来越多关于自动图像质量增强与RAW照片处理的研究。在本Mobile AI挑战赛中，目标是开发一种高效的端到端基于AI的图像信号处理（ISP）流水线，以替代标准手机ISP，并可使用TensorFlow Lite在现代智能手机GPU上运行。参与者获得了一个大规模的Fujifilm UltraISP数据集，其中包含使用普通手机相机传感器与专业102MP中画幅FujiFilm GFX100相机拍摄的数千对配对照片。所得模型的运行时间在骁龙8 Gen 1 GPU上进行了评估，该GPU为大多数常见深度学习算子提供了优异的加速结果。所提出的解决方案与所有近期移动GPU兼容，能够在不到20-50毫秒内处理全高清照片，同时实现高保真结果。本文提供了该挑战赛中开发的所有模型的详细描述。
引用
@article{arxiv.2211.03885,
title = {Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI & AIM 2022 Challenge: Report},
author = {Andrey Ignatov and Radu Timofte and Shuai Liu and Chaoyu Feng and Furui Bai and Xiaotao Wang and Lei Lei and Ziyao Yi and Yan Xiang and Zibin Liu and Shaoqing Li and Keming Shi and Dehui Kong and Ke Xu and Minsu Kwon and Yaqi Wu and Jiesi Zheng and Zhihao Fan and Xun Wu and Feng Zhang and Albert No and Minhyeok Cho and Zewen Chen and Xiaze Zhang and Ran Li and Juan Wang and Zhiming Wang and Marcos V. Conde and Ui-Jin Choi and Georgy Perevozchikov and Egor Ershov and Zheng Hui and Mengchuan Dong and Xin Lou and Wei Zhou and Cong Pang and Haina Qin and Mingxuan Cai},
journal= {arXiv preprint arXiv:2211.03885},
year = {2022}
}