E2FIF：利用端到端全精度信息流推进二值化深度图像超分辨率的极限
计算机视觉与模式识别
2022-09-05 v2
摘要
二值神经网络（BNN）为将参数密集的深度单图像超分辨率（SISR）模型部署到存储与计算资源受限的真实设备提供了一种有前景的方案。为取得与全精度对应模型相当的性能，现有多数面向 SISR 的 BNN 主要通过更好地逼近二值化卷积来补偿网络中因权重与激活二值化所致的信息损失。在本研究中，我们重新审视 BNN 与其全精度对应模型的差异，并主张 BNN 良好泛化性能的关键在于保持完整的全精度信息流以及穿过每个二值化卷积层的准确梯度流。受此启发，我们提出在跨越整个网络的每个二值化卷积层上引入全精度跳跃连接或其变体，这可提升前向表达能力与反向传播梯度的准确性，从而增强泛化性能。更重要的是，该方案适用于任何现有 SISR 的 BNN 骨干网络，且不引入任何额外计算成本。为验证其有效性，我们在四个基准数据集上使用四种不同的 SISR 骨干网络进行评估，并报告了相对现有 BNN 甚至某些 4-bit 竞争对手明显更优的性能。
引用
@article{arxiv.2207.06893,
title = {E2FIF: Push the limit of Binarized Deep Imagery Super-resolution using End-to-end Full-precision Information Flow},
author = {Zhiqiang Lang and Chongxing Song and Lei Zhang and Wei Wei},
journal= {arXiv preprint arXiv:2207.06893},
year = {2022}
}
备注
Simple but Stronge baseline for binarized SR networks. Code is available at https://github.com/pppLang/E2FIF