基于深度学习的移动 NPU 上学习型智能手机 ISP：移动 AI 2021 挑战赛报告
图像与视频处理
2021-05-18 v1 计算机视觉与模式识别
机器学习
摘要
随着移动相机质量在现代智能手机中开始发挥关键作用，人们越来越关注用于改善移动照片各种感知方面的 ISP 算法。在本移动 AI 挑战赛中，目标是开发一种端到端的基于深度学习的图像信号处理（ISP）流水线，以取代经典的手工设计 ISP，并在智能手机 NPU 上实现近乎实时的性能。为此，向参与者提供了一种新颖的学习型 ISP 数据集，该数据集由 Sony IMX586 Quad Bayer 移动传感器和专业 102 兆像素中画幅相机捕获的 RAW-RGB 图像对组成。所有模型的运行时间在 MediaTek Dimensity 1000+ 平台上进行评估，该平台具有能够加速浮点和量化神经网络的专用 AI 处理单元。所提出的解决方案与上述 NPU 完全兼容，能够在 60-100 毫秒内处理全高清照片，同时实现高保真结果。本文提供了该挑战赛中开发的所有模型的详细描述。
引用
@article{arxiv.2105.07809,
title = {Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021 Challenge: Report},
author = {Andrey Ignatov and Cheng-Ming Chiang and Hsien-Kai Kuo and Anastasia Sycheva and Radu Timofte and Min-Hung Chen and Man-Yu Lee and Yu-Syuan Xu and Yu Tseng and Shusong Xu and Jin Guo and Chao-Hung Chen and Ming-Chun Hsyu and Wen-Chia Tsai and Chao-Wei Chen and Grigory Malivenko and Minsu Kwon and Myungje Lee and Jaeyoon Yoo and Changbeom Kang and Shinjo Wang and Zheng Shaolong and Hao Dejun and Xie Fen and Feng Zhuang and Yipeng Ma and Jingyang Peng and Tao Wang and Fenglong Song and Chih-Chung Hsu and Kwan-Lin Chen and Mei-Hsuang Wu and Vishal Chudasama and Kalpesh Prajapati and Heena Patel and Anjali Sarvaiya and Kishor Upla and Kiran Raja and Raghavendra Ramachandra and Christoph Busch and Etienne de Stoutz},
journal= {arXiv preprint arXiv:2105.07809},
year = {2021}
}
备注
Mobile AI 2021 Workshop and Challenges: https://ai-benchmark.com/workshops/mai/2021/