具有知识蒸馏的特征对齐网络用于高效去噪
图像与视频处理
2021-03-19 v2 计算机视觉与模式识别
机器学习
摘要
我们提出了一种用于 RAW 图像去噪的高效神经网络。尽管基于神经网络的去噪已在图像复原中被广泛研究，但面向计算受限与功耗敏感设备（如智能手机与智能手表）的高效去噪鲜受关注。本文中，我们提出了一种新颖架构与一套训练技术，用于移动设备中的高质量去噪。我们的工作以三项主要贡献为特色。（1）特征对齐层，其以输入噪声图像调制编码器-解码器架构的激活值。该自动调制层强化对空间变化噪声的注意力，此类噪声往往被连续卷积与非线性的应用所“冲淡”。（2）一种新颖的特征匹配损失，其以感知内容损失的形式实现从大型去噪网络的知识蒸馏。（3）对我们专为不同噪声子范围训练的高效模型的实证分析。这通过以内存换取计算开辟了模型尺寸缩减的新途径。大量实验验证表明，我们的高效模型产出的高质量去噪结果可与 SOTA 大型网络媲美，同时参数量与 MACs 显著更少。在 Darmstadt Noise Dataset 基准上，我们取得了 48.28dB 的 PSNR，而所用 MACs 比取得 49.12dB 的 SOTA 网络少 263 倍，参数少 17.6 倍。
引用
@article{arxiv.2103.01524,
title = {Feature-Align Network with Knowledge Distillation for Efficient Denoising},
author = {Lucas D. Young and Fitsum A. Reda and Rakesh Ranjan and Jon Morton and Jun Hu and Yazhu Ling and Xiaoyu Xiang and David Liu and Vikas Chandra},
journal= {arXiv preprint arXiv:2103.01524},
year = {2021}
}