PyNet-V2 Mobile：基于神经网络的高效端侧照片处理
计算机视觉与模式识别
2022-11-14 v1 机器学习
图像与视频处理
摘要
移动摄影日益增长的重要性产生了对快速且高性能的RAW图像处理流水线的需求，要求其能够在移动相机传感器受限的情况下依然产生良好的视觉效果。虽然基于深度学习的方法可以有效解决这一问题，但其计算需求对于高分辨率端侧图像处理而言通常仍然过大。为了解决这一限制，我们提出了一种专为边缘设备设计的全新PyNET-V2 Mobile CNN架构，能够在1.5秒内直接在手机上处理1200万像素(12MP)的RAW照片，并产生高感知质量的图像。为了训练和评估所提方案的性能，我们使用了真实的Fujifilm UltraISP数据集，该数据集由专业中画幅1.02亿像素(102MP)Fujifilm相机和流行的Sony移动相机传感器拍摄的数千张RAW-RGB图像对组成。结果表明，PyNET-V2 Mobile模型能够大幅超越传统ISP流水线的质量，同时优于先前引入的专为快速图像处理设计的基于神经网络的方案。此外，我们表明所提架构还兼容最新的移动AI加速器（如NPU或APU），这些加速器可用于将模型延迟进一步降低至0.5秒。本文使用的数据集、代码和预训练模型可在项目网站获取：https://github.com/gmalivenko/PyNET-v2
引用
@article{arxiv.2211.06263,
title = {PyNet-V2 Mobile: Efficient On-Device Photo Processing With Neural Networks},
author = {Andrey Ignatov and Grigory Malivenko and Radu Timofte and Yu Tseng and Yu-Syuan Xu and Po-Hsiang Yu and Cheng-Ming Chiang and Hsien-Kai Kuo and Min-Hung Chen and Chia-Ming Cheng and Luc Van Gool},
journal= {arXiv preprint arXiv:2211.06263},
year = {2022}
}