自适应网络组合用于单图像反射去除：域泛化视角
计算机视觉与模式识别
2022-04-05 v1
摘要
近来，多个合成和真实世界数据集被构建以促进深度单图像反射去除（SIRR）模型的训练。同时，也提供了具有不同类型反射和场景的多样化测试集。然而，训练集与测试集之间不可忽略的域差距使得难以学习能很好泛化到测试图像的深度模型。反射和场景的多样性进一步使得学习对全部测试集和真实世界反射都有效的单一模型成为不可能完成的任务。在本文中，我们从域泛化视角通过学些 SIRR 模型来解决这些问题。特别地，对于每个源集，训练一个特定的 SIRR 模型作为相关反射类型的域专家。对于给定的被反射污染的图像，我们提出一个反射类型感知加权（RTAW）模块来预测专家级权重。RTAW 随后可结合自适应网络组合（AdaNEC）以处理不同反射类型和场景，即泛化到未知域。通过同时考虑自适应水平和效率，提供了两种代表性的 AdaNEC 方法，即输出融合（OF）和网络插值（NI）。对于来自一个源集的图像，我们训练 RTAW 仅预测其他域专家的专家级权重以提升泛化能力，而在测试期间预测并采用所有专家的权重。提出了域内专家（IDE）损失用于训练 RTAW。大量实验显示了我们的 AdaNEC 在不同最先进 SIRR 网络上的显著性能提升。源代码和预训练模型将在 https://github.com/csmliu/AdaNEC 提供。
引用
@article{arxiv.2204.01505,
title = {Adaptive Network Combination for Single-Image Reflection Removal: A Domain Generalization Perspective},
author = {Ming Liu and Jianan Pan and Zifei Yan and Wangmeng Zuo and Lei Zhang},
journal= {arXiv preprint arXiv:2204.01505},
year = {2022}
}