CABM：面向大输入单图像超分辨率网络的内容感知比特映射
计算机视觉与模式识别
2023-04-14 v1
摘要
随着高清显示设备的发展，超分辨率（SR）的实际场景通常需要将 2K 等大尺寸输入超分辨至更高分辨率（4K/8K）。为降低计算与内存开销，现有方法先将大输入切分为局部块，再将 SR 块合并为输出。这些方法为每个块自适应分配子网络。量化是网络加速的一项重要技术，已被用于设计子网络。现有方法训练一个 MLP 比特选择器来确定每层的合适比特数。然而，它们均匀采样子网络进行训练，导致简单子网络过拟合、复杂子网络欠拟合。因此，训练出的比特选择器无法确定最优比特。此外，引入的比特选择器给 SR 网络每层带来额外开销。本文提出一种称为内容感知比特映射（CABM）的新方法，可在无任何性能损失的情况下移除比特选择器。CABM 在训练时也为每层学习一个比特选择器。训练后，我们分析输入块的边缘信息与每层比特数之间的关系，观察到边缘信息可作为所选比特数的有效度量。因此，我们设计了一种策略，构建边缘到比特的查找表，在推理时将块的边缘分数映射到每层的比特数。SR 网络的比特配置可由所有层的查找表确定。我们的策略能找到更优的比特配置，从而得到更高效的混合精度网络。我们进行了详细实验以证明方法的泛化能力。代码将公开。
引用
@article{arxiv.2304.06454,
title = {CABM: Content-Aware Bit Mapping for Single Image Super-Resolution Network with Large Input},
author = {Senmao Tian and Ming Lu and Jiaming Liu and Yandong Guo and Yurong Chen and Shunli Zhang},
journal= {arXiv preprint arXiv:2304.06454},
year = {2023}
}
备注
Accepted to CVPR2023