IBAFormer：面向域泛化语义分割的批内注意力Transformer
计算机视觉与模式识别
2023-09-13 v1
摘要
域泛化语义分割（DGSS）是一项关键且具有挑战性的任务，其中模型仅在源数据上训练而无法访问任何目标数据。尽管已提出众多 DGSS 策略，其在 CNN 架构中的泛化能力仍然有限。虽然一些基于 Transformer 的分割模型展现出有前景的性能，但它们主要关注捕获样本内注意力关系，忽视了样本间相关性，而后者可能有益于 DGSS。为此，我们通过将同一批次中其他独立样本的信息融入 Transformer 网络的注意力模块，以丰富上下文信息并为每个注意力块多样化训练数据，从而提升 DGSS 性能。具体而言，我们提出两种可选的批内注意力机制，即基于均值的批内注意力（MIBA）和逐元素批内注意力（EIBA），以捕获不同样本间的相关性，增强特征表示与泛化能力。基于批内注意力，我们引入 IBAFormer，其将自注意力模块与上述批内注意力相集成用于 DGSS。大量实验表明，IBAFormer 在 DGSS 中取得了 SOTA 性能，且消融实验进一步证实了各引入组件的有效性。
引用
@article{arxiv.2309.06282,
title = {IBAFormer: Intra-batch Attention Transformer for Domain Generalized Semantic Segmentation},
author = {Qiyu Sun and Huilin Chen and Meng Zheng and Ziyan Wu and Michael Felsberg and Yang Tang},
journal= {arXiv preprint arXiv:2309.06282},
year = {2023}
}