用于RGB-热成像语义分割的互补随机掩码方法
计算机视觉与模式识别
2024-03-05 v2 人工智能
机器人学
摘要
RGB-热成像语义分割是在恶劣天气与光照条件下实现可靠语义场景理解的一种潜在方案。然而,以往研究大多聚焦于设计多模态融合模块,而未考虑多模态输入的本质。因此,网络容易过度依赖单一模态,难以为各模态学习互补且有意义的表征。本文提出1)一种RGB-T图像的互补随机掩码策略,以及2)干净与掩码输入模态间的自蒸馏损失。所提掩码策略防止了对单一模态的过度依赖,并通过迫使网络在仅部分模态可用时仍进行物体分割与分类,提升了神经网络的精度与鲁棒性。此外,所提自蒸馏损失鼓励网络从单一模态或互补掩码模态中提取互补且有意义的表征。基于所提方法,我们在三个RGB-T语义分割基准上取得了最先进的性能。我们的源代码发布于 https://github.com/UkcheolShin/CRM_RGBTSeg。
关键词
引用
@article{arxiv.2303.17386,
title = {Complementary Random Masking for RGB-Thermal Semantic Segmentation},
author = {Ukcheol Shin and Kyunghyun Lee and In So Kweon and Jean Oh},
journal= {arXiv preprint arXiv:2303.17386},
year = {2024}
}
备注
ICRA 2024, Our source code is available at https://github.com/UkcheolShin/CRM_RGBTSeg