基于重要性感知与原型对比学习的无源域自适应语义分割
计算机视觉与模式识别
2024-03-27 v3 机器人学
图像与视频处理
摘要
域自适应语义分割实现了对真实驾驶场景的鲁棒像素级理解。无源域自适应作为一种更实用的技术，解决了典型无监督域自适应方法中数据隐私与存储限制的问题，在智能车辆背景下尤为相关。它利用训练良好的源模型与无标签目标数据在目标域中实现自适应。然而，在缺乏源数据与目标标签的情况下，现有方案无法充分降低域偏移的影响，也难以充分利用目标数据的信息。本文提出一种端到端的无源域自适应语义分割方法，通过重要性感知与原型对比（IAPC）学习实现。所提 IAPC 框架从训练良好的源模型中有效提取域不变知识，并从无标签目标域中学习域特定知识。具体而言，针对源模型对目标域预测的域偏移问题，我们提出一种面向有偏目标预测概率分布的重要性感知机制，以从源模型提取域不变知识。我们进一步引入原型对比策略，包含原型对称交叉熵损失与原型增强交叉熵损失，以不依赖标签的方式学习目标域内知识。在两个域自适应语义分割基准上的大量实验表明，所提端到端 IAPC 方案优于现有最先进方法。源代码公开于 https://github.com/yihong-97/Source-free-IAPC。
引用
@article{arxiv.2306.01598,
title = {Towards Source-free Domain Adaptive Semantic Segmentation via Importance-aware and Prototype-contrast Learning},
author = {Yihong Cao and Hui Zhang and Xiao Lu and Zheng Xiao and Kailun Yang and Yaonan Wang},
journal= {arXiv preprint arXiv:2306.01598},
year = {2024}
}
备注
Accepted to IEEE Transactions on Intelligent Vehicles (T-IV). The source code is publicly available at https://github.com/yihong-97/Source-free-IAPC