用于RGB-T语义分割的变分概率融合网络
计算机视觉与模式识别
2023-07-18 v1
摘要
RGB-T语义分割通过融合RGB与热成像图像的不同模态特征，已被广泛用于处理光照条件差的困难场景。现有方法试图寻找用于分割的最优融合特征，导致对模态噪声、类别不平衡和模态偏置敏感。为克服这些问题，本文提出一种新颖的变分概率融合网络（VPFNet），其将融合特征视为随机变量，并通过在融合特征的多个样本下对分割结果取平均来获得鲁棒分割。VPFNet中融合特征的随机样本生成由基于变分注意力设计的新型变分特征融合模块（VFFM）实现。为进一步避免类别不平衡与模态偏置，我们采用加权交叉熵损失，并引入光照与类别的先验信息来控制所提VFFM。在MFNet和PST900数据集上的实验结果表明，所提VPFNet能够达到最先进的分割性能。
引用
@article{arxiv.2307.08536,
title = {Variational Probabilistic Fusion Network for RGB-T Semantic Segmentation},
author = {Baihong Lin and Zengrong Lin and Yulan Guo and Yulan Zhang and Jianxiao Zou and Shicai Fan},
journal= {arXiv preprint arXiv:2307.08536},
year = {2023}
}