面向一次性跨域语义分割的信息化数据挖掘
计算机视觉与模式识别
2023-09-26 v1
摘要
当前的域适应方法为在带标签源数据与无标签目标数据之间实现语义分割的跨域迁移提供了一种实用方案。这些方案已获得广泛关注；然而，当测试环境发生变化时，需要对模型重新训练。由于耗时的训练过程以及数据隐私方面的顾虑，这在某些应用中会导致难以承受的成本。一次性域适应方法试图仅利用一个目标数据将预训练的源模型迁移到目标域，从而克服这些挑战。尽管如此，现有的风格迁移模块仍面临计算成本与过拟合问题。为解决该问题，我们提出了一种称为信息化数据挖掘（Informative Data Mining, IDM）的新框架，可实现高效的语义分割一次性域适应。具体而言，IDM提供一种基于不确定性的选择准则来识别最具信息量的样本，从而促进快速适应并减少冗余训练。随后我们使用这些选定样本执行模型适应方法，包括块混合（patch-wise mixing）与基于原型的信息最大化来更新模型。该方法有效增强了适应性并缓解了过拟合问题。总体而言，我们提供了IDM有效性与高效性的实证证据。我们的方法优于现有方法，并在GTA5/SYNTHIA到Cityscapes的适应任务上分别取得了56.7%/55.4%的新最优一次性性能。代码将发布于\url{https://github.com/yxiwang/IDM}。
引用
@article{arxiv.2309.14241,
title = {Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation},
author = {Yuxi Wang and Jian Liang and Jun Xiao and Shuqi Mei and Yuran Yang and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2309.14241},
year = {2023}
}
备注
Accepted by ICCV 2023