通过目标特定归一化实现可泛化的模型无关语义分割
计算机视觉与模式识别
2021-09-01 v2
摘要
以监督学习方式进行的语义分割近年来取得了显著进展。然而，当我们将训练好的模型直接部署到未见过（或新到来）的域的图像上进行分割时，由于已见域与未见域之间的数据分布差异，其性能通常会急剧下降。为此，我们针对可泛化语义分割任务提出了一种新颖的域泛化框架，从训练范式与测试策略两个不同视角增强模型的泛化能力。具体而言，我们利用模型无关学习来模拟域偏移问题，从训练方案角度处理域泛化。此外，考虑到已见源域与未见目标域之间的数据分布差异，我们开发了目标特定归一化方案以增强泛化能力。进一步，当测试阶段图像逐一到来时，我们设计了具有基于风格的选择策略的基于图像的记忆库（简称 Image Bank）来筛选相似图像，从而获得更精确的归一化统计量。大量实验表明，所提方法在多个基准分割数据集（即 Cityscapes、Mapillary）的语义分割域泛化上取得了 state-of-the-art（最优）性能。
引用
@article{arxiv.2003.12296,
title = {Generalizable Model-agnostic Semantic Segmentation via Target-specific Normalization},
author = {Jian Zhang and Lei Qi and Yinghuan Shi and Yang Gao},
journal= {arXiv preprint arXiv:2003.12296},
year = {2021}
}
备注
Accepted by Pattern Recognition (PR)