面向 RGB-热成像语义分割的通道与空间关系传播网络
计算机视觉与模式识别
2023-08-25 v1
摘要
RGB-热成像（RGB-T）语义分割在处理低光照条件时展现出巨大潜力，而此类条件下基于 RGB 的分割受限于较差的 RGB 成像质量。RGB-T 语义分割的关键在于有效利用 RGB 与热成像的互补特性。大多数现有算法通过拼接、逐元素求和或注意力操作，以单向增强或双向聚合方式在特征空间中融合 RGB 与热成像信息。然而，它们在特征融合过程中通常忽视了 RGB 与热成像之间的模态鸿沟，导致来自一方的模态特有信息污染另一方。本文中，我们提出一种用于 RGB-T 语义分割的通道与空间关系传播网络（CSRPNet），其仅跨模态传播模态共享信息，并缓解模态特有信息污染问题。我们的 CSRPNet 首先在通道与空间维度执行关系传播，以从 RGB 与热成像特征中捕获模态共享特征。随后，CSRPNet 将从一个模态捕获的模态共享特征与另一模态的输入特征聚合，从而在无污染问题的情况下增强输入特征。在融合在一起的同时，增强后的 RGB 与热成像特征还将分别送入后续的 RGB 或热成像特征提取层以进行交互式特征融合。我们还引入了一个双路径级联特征精炼模块，聚合多层特征以生成用于语义与边界预测的两个精炼特征。大量实验结果表明，CSRPNet 优于 SOTA 算法。
引用
@article{arxiv.2308.12534,
title = {Channel and Spatial Relation-Propagation Network for RGB-Thermal Semantic Segmentation},
author = {Zikun Zhou and Shukun Wu and Guoqing Zhu and Hongpeng Wang and Zhenyu He},
journal= {arXiv preprint arXiv:2308.12534},
year = {2023}
}