NSF-MAP：面向装配线中鲁棒且可解释异常预测的神经符号多模态融合
机器学习
2025-05-13 v1 人工智能
摘要
在现代装配线中，识别异常情况对于确保产品质量和运营效率至关重要。传统的单模态方法无法捕捉复杂预测环境中丰富数据和多模态数据所需的精细异常预测关系。本文提出一种基于神经符号 AI 和融合的方法，用于装配线中的多模态异常预测。我们引入一种基于时间序列和图像的融合模型，利用决策级别融合技术。我们的研究基于三项主要创新性多模态学习方法：时间序列和图像的决策级别融合建模、融合的迁移学习以及知识嵌入式学习。我们使用所构建的公开数据集和衍生数据集评估新方法，并进行全面的消融研究，以评估我们预处理技术和融合模型相对于传统基准的方法的影响。结果表明，一种基于神经符号 AI 的融合方法，利用迁移学习可有效地发挥时间序列和图像数据之间的互补优势，为装配线中的异常预测提供一种性能提升且具有解释性的方法。\noindent 数据集、复现结果的代码、补充材料以及演示均可在 https://github.com/ChathurangiShyalika/NSF-MAP 获取。
引用
@article{arxiv.2505.06333,
title = {NSF-MAP: Neurosymbolic Multimodal Fusion for Robust and Interpretable Anomaly Prediction in Assembly Pipelines},
author = {Chathurangi Shyalika and Renjith Prasad and Fadi El Kalach and Revathy Venkataramanan and Ramtin Zand and Ramy Harik and Amit Sheth},
journal= {arXiv preprint arXiv:2505.06333},
year = {2025}
}
备注
9 pages, 7 figures, 2 tables, IJCAI 2025 (International Joint Conferences on Artificial Intelligence) Special Track on AI4Tech: AI Enabling Critical Technologies