UniDAformer:基于分层掩码校准的统一域自适应全景分割Transformer
计算机视觉与模式识别
2023-03-23 v2
摘要
域自适应全景分割旨在利用一个或多个相关源域中现成的标注数据来缓解数据标注难题。然而,现有研究采用两个分离的网络分别进行实例分割与语义分割,导致网络参数过多以及复杂且计算密集的训练与推理过程。我们设计了UniDAformer,一种统一的域自适应全景分割Transformer,它简洁却能在单一网络内同时实现域自适应实例分割与语义分割。UniDAformer引入了分层掩码校准(HMC),通过在线即时自训练在区域、超像素和像素层面纠正不准确的预测。它具有三个独特特征:1) 实现统一的域自适应全景适配;2) 有效缓解错误预测并改进域自适应全景分割;3) 端到端可训练,具有更简单的训练与推理流程。在多个公开基准上的大量实验表明,与当前最优方法相比,UniDAformer实现了更优的域自适应全景分割。
引用
@article{arxiv.2206.15083,
title = {UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer via Hierarchical Mask Calibration},
author = {Jingyi Zhang and Jiaxing Huang and Xiaoqin Zhang and Shijian Lu},
journal= {arXiv preprint arXiv:2206.15083},
year = {2023}
}
备注
Accepted to CVPR2023