IRFusionFormer：基于 RGB-T 融合与拓扑损失的路面裂缝分割
计算机视觉与模式识别
2024-12-31 v2
摘要
路面裂缝分割是桥梁工程中的关键环节，尤其用于评估铺装完整性和确保基础设施耐久性。虽然深度学习已推动 RGB-based 分割技术发展，但在低光照或运动模糊等不利条件下性能会下降。热成像通过捕获辐射能量，能在挑战性环境中改善裂缝检测。将 RGB 与热图像(RGB-T)进行裂缝分割显示出在复杂现实环境（如恶劣天气）中的潜力，但该领域研究仍有限。当前的 RGB-T 分割方法往往未充分利用多层次相互作用中模态之间的互补关系。为此，我们提出 IRFusionFormer，一个有效整合 RGB 与热数据的新型裂缝分割模型。我们的高效 RGB-T 交叉融合模块在不显著计算开销的情况下捕获模态之间多尺度关系和长程依赖。此外，我们引入 Interaction-Hybrid-Branch-Supervision 框架，通过在具有联合监督的分支中分配融合特征来增强模态间的交互。为保持裂缝的拓扑结构，我们引入一种新颖的基于拓扑的损失函数，在训练期间保持连通性。我们的方法实现了最先进的性能，Dice 分数达 90.01%，IoU 为 81.83%，显著提升了在不同环境条件下的鲁棒性和准确性。这些突破性进展解决了路面裂缝分割中的关键挑战，为更可靠且高效的解决方案提供了支持。有关本研究的代码、数据和模型，请访问 https://github.com/sheauhuu/IRFusionFormer
引用
@article{arxiv.2409.20474,
title = {IRFusionFormer: Enhancing Pavement Crack Segmentation with RGB-T Fusion and Topological-Based Loss},
author = {Ruiqiang Xiao and Xiaohu Chen},
journal= {arXiv preprint arXiv:2409.20474},
year = {2024}
}
备注
BMVC 2024 Workshop Best Paper Award (DIFA)