用于高效深度学习图像复原的轻量级模块
计算机视觉与模式识别
2020-07-14 v1 图像与视频处理
摘要
低层图像复原是现代人工智能（AI）驱动相机流水线不可或缺的组成部分。大多数此类框架基于深度神经网络，这在移动手机等资源受限平台上带来了巨大的计算开销。在本文中，我们提出若干轻量级低层模块，可用于构建给定基线模型的计算低成本变体。近期高效神经网络设计的工作主要聚焦于分类。然而，低层图像处理属于“图像到图像”翻译类别，需要一些分类中不存在的额外计算模块。本文旨在通过设计可替代当前基于深度学习的图像复原网络中所用关键组件的通用高效模块来弥补这一差距。我们还展示并分析了将深度可分离卷积核（一种用于高效分类网络的流行方法）应用于基于亚像素卷积的上采样（一种用于低层视觉应用的流行上采样策略）的缺陷。这表明分类领域的概念并非总能无缝集成到图像到图像翻译任务中。我们在图像修复、去噪和超分辨率三个流行任务上广泛验证了我们的发现。我们的结果表明，所提网络相较于全容量基线始终输出视觉上相似的重建结果，并在当代移动设备上显著减少了参数量、内存占用并提升了执行速度。
引用
@article{arxiv.2007.05835,
title = {Lightweight Modules for Efficient Deep Learning based Image Restoration},
author = {Avisek Lahiri and Sourav Bairagya and Sutanu Bera and Siddhant Haldar and Prabir Kumar Biswas},
journal= {arXiv preprint arXiv:2007.05835},
year = {2020}
}
备注
Accepted at: IEEE Transactions on Circuits and Systems for Video Technology (Early Access Print) | |Codes Available at: https://github.com/avisekiit/TCSVT-LightWeight-CNNs | Supplementary Document at: https://drive.google.com/file/d/1BQhkh33Sen-d0qOrjq5h8ahw2VCUIVLg/view?usp=sharing