RTFDNet：用于鲁棒RGB-T分割的融合解耦
计算机视觉与模式识别
2026-03-11 v1
摘要
RGB-Thermal(RGB-T)语义分割是操作于低光或暗环境的机器人系统所必需的。然而，传统方法过度强调模态平衡，导致鲁棒性受限，严重的性能下降当传感器信号部分缺失时。近期进展如跨模态知识蒸馏和模态自适应微调试图增强跨模态交互，但通常在解耦模态融合和模态适应，要求冻结模型或教师-学生框架的多阶段训练。我们提出RTFDNet，一个三分支编码器-解码器，统一融合和解耦以实现鲁棒RGB-T分割。协同特征融合(SFF)执行通道级门控交换和轻量级空间注意力以注入互补线索。跨模态解耦正则化(CMDR)从融合表示中隔离模态特定组件，并通过stop-gradient目标监督单模态解码器。区域解耦正则化(RDR)在自信区域强制类选择性预测一致性，同时阻止融合分支的梯度。该反馈环路在不降低融合流的情况下强化单模态路径，使其在测试时能够实现高效的独立推理。大量实验表明RTFDNet有效，显示在各种模态条件下的一致性能。我们的实现将公开，以便进一步研究。我们的源代码已公开可在https://github.com/curapima/RTFDNet获取。
引用
@article{arxiv.2603.09149,
title = {RTFDNet: Fusion-Decoupling for Robust RGB-T Segmentation},
author = {Kunyu Tan and Mingjian Liang},
journal= {arXiv preprint arXiv:2603.09149},
year = {2026}
}