SYENet：一种简洁而高效的多低层视觉任务网络，在移动设备上实现实时性能
计算机视觉与模式识别
2023-08-17 v1 人工智能
摘要
随着 AI 硬件加速器的快速发展，将基于深度学习的算法应用于移动设备解决各类低层视觉任务已逐渐变得可行。然而，仍有两大问题亟待解决：任务专用算法难以整合进单一神经网络架构，以及大量参数难以实现实时推理。为应对这些问题，我们提出了一种新颖的网络 SYENet，其参数仅约 6K，能够以实时方式在移动设备上处理多种低层视觉任务。SYENet 由两条非对称分支及简单构建块组成。为有效连接非对称分支的结果，提出了二次连接单元（Quadratic Connection Unit, QCU）。此外，为提升性能，提出了一种新的离群值感知损失（Outlier-Aware Loss）来处理图像。所提方法在实时应用中（如图像信号处理（Image Signal Processing, ISP）、低光增强（Low-Light Enhancement, LLE）和超分辨率（Super-Resolution, SR））相较于其他网络取得了最优 PSNR，并在高通 8 Gen 1 移动 SoC（System-on-Chip）上达到 2K60FPS 吞吐量。特别是在 ISP 任务上，SYENet 在 MAI 2022 学习型智能手机 ISP 挑战赛中获得了最高分。
引用
@article{arxiv.2308.08137,
title = {SYENet: A Simple Yet Effective Network for Multiple Low-Level Vision Tasks with Real-time Performance on Mobile Device},
author = {Weiran Gou and Ziyao Yi and Yan Xiang and Shaoqing Li and Zibin Liu and Dehui Kong and Ke Xu},
journal= {arXiv preprint arXiv:2308.08137},
year = {2023}
}