用于脉冲热图测量中 subsurface 缺陷分割与深度估计的多模态注意力网络
计算机视觉与模式识别
2025-01-20 v1 人工智能
图像与视频处理
摘要
AI 驱动的脉冲热图 (PT) 已成为非破坏性检测 (NDT) 中的关键工具，使能够自动检测各种工业组件中隐藏的异常。当前最先进的技术将压缩的 PT 序列输入分割和深度估计网络，要么采用主成分分析 (PCA)，要么采用热信号重构 (TSR)。然而，独立处理这两种模态限制了 PT 检查模型的性能，因为这些表示具有互补的语义特征。为此，本工作提出了 PT-Fusion，一种基于多模态注意力的融合网络，用于 PT setup 中 subsurface 缺陷的分割与深度估计。PT-Fusion 引入 novel 特征融合模块，Encoder Attention Fusion Gate (EAFG) 和 Attention Enhanced Decoding Block (AEDB)，以融合 PCA 与 TSR 特征，用于提升 subsurface 缺陷的分割与深度估计。此外，本文提出了一种基于从热图序列随机采样的 novel 数据增强技术，以缓解 PT 数据集的稀缺问题。该方法在 Université Laval IRT-PVC 数据集上与最先进的 PT 检查模型（包括 U-Net、attention U-Net 和 3D-CNN）进行基准测试。结果表明，PT-Fusion 在缺陷分割和深度估计精度上均优于上述模型，优势约为 10%。
引用
@article{arxiv.2501.09994,
title = {Multi-Modal Attention Networks for Enhanced Segmentation and Depth Estimation of Subsurface Defects in Pulse Thermography},
author = {Mohammed Salah and Naoufel Werghi and Davor Svetinovic and Yusra Abdulrahman},
journal= {arXiv preprint arXiv:2501.09994},
year = {2025}
}
备注
Pulse thermography, infrared thermography, defect segmentation, multi-modal networks, attention mechanism