重新审视全局信息聚合以改进图像复原
计算机视觉与模式识别
2022-08-09 v4 图像与视频处理
摘要
全局操作（如全局平均池化）广泛用于性能顶尖的图像复原器中。它们在训练和推理时沿整个空间维度聚合输入特征的全局信息，但在图像复原任务中表现不同：它们基于不同的区域，即裁剪的图像块和全分辨率图像。本文重新审视全局信息聚合，发现推理时基于全图的特征分布与训练时基于图像块的特征分布不同。这种训练-测试不一致性对模型性能产生负面影响，而以往工作严重忽视了这一点。为减少不一致性并提升测试时性能，我们提出一种简单方法，称为测试时局部转换器（Test-time Local Converter, TLC）。我们的 TLC 仅在推理时将全局操作转换为局部操作，使其在局部空间区域内而非整个大图像上聚合特征。该方法可应用于各种全局模块（如归一化、通道和空间注意力），且开销可忽略不计。无需任何微调，TLC 在多项图像复原任务上提升了当前最优结果，包括单图像运动去模糊、视频去模糊、散焦去模糊和图像去噪。特别是，借助 TLC，我们的 Restormer-Local 在 GoPro 数据集上将单图像去模糊的最优结果从 32.92 dB 提升至 33.57 dB。代码见 https://github.com/megvii-research/tlc。
引用
@article{arxiv.2112.04491,
title = {Improving Image Restoration by Revisiting Global Information Aggregation},
author = {Xiaojie Chu and Liangyu Chen and Chengpeng Chen and Xin Lu},
journal= {arXiv preprint arXiv:2112.04491},
year = {2022}
}
备注
ECCV 2022; fix typo