DDistill-SR：用于轻量级图像超分辨率的重参数化动态蒸馏网络
图像与视频处理
2023-12-25 v1
摘要
最近关于深度卷积神经网络 (CNN) 的研究通过在性能与适用性之间进行权衡，为高效超分辨率 (SR) 任务提供了显著的性能提升。然而，大多数现有方法专注于减去特征处理消耗以减少参数量和计算量，而未对中间特征进行细化，导致恢复过程中的信息不足。在本文中，我们提出了一种名为 DDistill-SR 的轻量级网络，该网络通过静态 - 动态特征蒸馏方式捕获和复用更多有用信息，从而显著提高了 SR 质量。具体而言，我们提出了一种可插件的重参数化动态单元 (RDU)，以促进性能与推理成本的权衡。在训练阶段，RDU 通过分析变化的输入统计量来学习线性组合多个可重参数化块，以增强层级表示。在推理阶段，RDU 被等价转换为简单的动态卷积，显式地捕获鲁棒的动态和静态特征图。随后，通过多个 RDU 构建信息蒸馏块，以强制实施空间上下文信息的层级细化和选择性融合。此外，我们提出了一种动态蒸馏融合 (DDF) 模块，以实现层级模块间的动态信号聚合与通信，从而进一步提升性能。实证结果表明，我们的 DDistill-SR 优于基线方法，并在大多数超分辨率领域以少得多的参数量和计算开销达到了最先进 (SOTA) 的结果。DDistill-SR 的代码已发布在 https://github.com/icandle/DDistill-SR。
引用
@article{arxiv.2312.14551,
title = {DDistill-SR: Reparameterized Dynamic Distillation Network for Lightweight Image Super-Resolution},
author = {Yan Wang and Tongtong Su and Yusen Li and Jiuwen Cao and Gang Wang and Xiaoguang Liu},
journal= {arXiv preprint arXiv:2312.14551},
year = {2023}
}
备注
Accepted by IEEE Transactions on Multimedia (TMM)