用于图像修复的区域归一化
计算机视觉与模式识别
2023-03-15 v2
摘要
特征归一化（FN）是有助于神经网络训练的一项重要技术，通常跨空间维度对特征进行归一化。大多数先前的图像修复方法在其网络中应用 FN，却未考虑输入图像受损区域对归一化（如均值与方差偏移）的影响。本工作中，我们表明由全空间 FN 引起的均值与方差偏移限制了图像修复网络训练，并提出了一种称为区域归一化（RN）的空间区域式归一化来克服该局限。RN 根据输入掩码将空间像素划分为不同区域，并在每个区域内计算均值与方差以进行归一化。我们为图像修复网络开发了两类 RN：（1）基础 RN（RN-B），基于原始修复掩码分别归一化来自受损与未受损区域的像素，以解决均值与方差偏移问题；（2）可学习 RN（RN-L），自动检测潜在受损与未受损区域进行分别归一化，并执行全局仿射变换以增强其融合。我们分别在网络的前层应用 RN-B、后层应用 RN-L。实验表明，我们的方法在定量与定性上均优于当前最先进方法。我们进一步将 RN 推广到其他修复网络并取得一致的性能提升。我们的代码见 https://github.com/geekyutao/RN。
引用
@article{arxiv.1911.10375,
title = {Region Normalization for Image Inpainting},
author = {Tao Yu and Zongyu Guo and Xin Jin and Shilin Wu and Zhibo Chen and Weiping Li and Zhizheng Zhang and Sen Liu},
journal= {arXiv preprint arXiv:1911.10375},
year = {2023}
}
备注
Accepted to AAAI-2020. Code URL:https://github.com/geekyutao/RN