用于激光定向能量沉积中实时位置相关缺陷检测的多模态传感器融合
图像与视频处理
2024-04-24 v1 音频与语音处理
信号处理
摘要
实时缺陷检测在激光定向能量沉积（L-DED）增材制造（AM）中至关重要。传统的原位监测方法利用单一传感器（即声学、视觉或热传感器）来捕获复杂的过程动态行为，不足以实现高精度和鲁棒性的缺陷检测。本文提出了一种新颖的多模态传感器融合方法，用于机器人 L-DED 过程中的实时位置相关缺陷检测。多模态融合源包括捕获激光-材料相互作用声音的麦克风传感器和捕获同轴熔池图像的可见光谱 CCD 相机。提出了一种混合卷积神经网络（CNN）来融合声学和视觉数据。本研究的关键创新在于不再需要传统的人工特征提取步骤，原始熔池图像和声学信号由混合 CNN 模型直接融合，在无热传感模态下实现了最高的缺陷预测准确率（98.5%）。此外，与以往基于区域的品质预测不同，所提出的混合 CNN 能够检测缺陷发生的起始。缺陷预测结果与原位获取的机器人工具中心点（TCP）数据同步并配准，从而实现局部化缺陷识别。所提出的多模态传感器融合方法为原位缺陷检测提供了一种鲁棒的解决方案。
引用
@article{arxiv.2305.13596,
title = {Multimodal sensor fusion for real-time location-dependent defect detection in laser-directed energy deposition},
author = {Lequn Chen and Xiling Yao and Wenhe Feng and Youxiang Chew and Seung Ki Moon},
journal= {arXiv preprint arXiv:2305.13596},
year = {2024}
}
备注
8 pages, 10 figures. This paper has been accepted to be published in the proceedings of IDETC-CIE 2023