中文

I2F:一种面向域自适应语义分割的统一图像到特征方法

计算机视觉与模式识别 2023-01-04 v1

摘要

无监督域自适应(UDA)用于语义分割是一项有望使人们摆脱繁重标注工作的任务。然而,低层图像统计与高层上下文之间的域差异损害了在目标域上的分割性能。解决该问题的一个关键思路是联合执行图像级与特征级自适应。遗憾的是,现有文献中缺乏针对UDA任务的此类统一方法。本文提出了一种新颖的用于语义分割的UDA流水线,统一了图像级与特征级自适应。具体而言,对于图像级域偏移,我们提出了全局光度对齐模块与全局纹理对齐模块,在图像级属性上对齐源域与目标域的图像。对于特征级域偏移,我们通过将两域的像素特征投影到源域的特征流形上来进行全局流形对齐;并进一步通过面向类别的三元组损失正则化源域中的类别中心,并对增强后的目标域图像执行目标域一致性正则化。实验结果表明,我们的流水线显著优于先前的方法。在常用测试的GTA5\rightarrowCityscapes任务中,我们以Deeplab V3+为骨干提出的方法比先前SOTA高出8%,在mIoU上达到58.2%。

关键词

引用

@article{arxiv.2301.01149,
  title  = {I2F: A Unified Image-to-Feature Approach for Domain Adaptive Semantic Segmentation},
  author = {Haoyu Ma and Xiangru Lin and Yizhou Yu},
  journal= {arXiv preprint arXiv:2301.01149},
  year   = {2023}
}

备注

To appear in IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)