基于深度学习的视觉-超声机器人系统用于制造业中的气体泄漏与弧电灾检测

气体泄漏和弧放电在工业环境中构成重大风险，需构建稳健的检测系统以确保安全和运行效率。受人类将视觉识别与声学验证相结合的检测协议启发，本研究提出一种基于深度学习的机器人系统，用于在制造业场景中自动检测和分类气体泄漏和弧放电。该系统在机器人上完全执行所有实验任务。系统采用采样率为96 kHz的112通道声学相机捕获超声频率，处理来自多样化工业场景的真实数据集。这些数据集包括多种气体泄漏配置（如针孔、开放端）和部分放电类型（晕体、表面、漂浮）下的环境噪声条件。 proposed system 集成视觉检测与声学分析管线。通过短时傅里叶变换( STFT)转换信号，并经伽玛校正优化，实现稳健的特征提取。基于Inception结构的卷积神经网络进一步对危险品进行分类，实现99%的气体泄漏检测准确率。该系统不仅检测单个危险源，还通过融合视觉和声学传感器来自多模态数据的，显著提升分类可靠性。在共振和噪声增强环境中测试时，该系统较传统模型提升了最高可达44%p，实验任务精心设计以确保公平性和可重复性。此外，系统针对实时部署进行了优化，在移动机器人平台上保持2.1秒的推理时间。通过模拟人类式检查协议并集成视觉与声学模态，本研究为工业自动化提供了有效解决方案，显著提升了安全性和运行可靠性。