基于大语言模型的多模态RAG驱动激光粉末床熔造型异常检测与分类
人工智能
2025-05-21 v1
摘要
增材制造使能够在最小化浪费的同时制造复杂设计，但面临制造缺陷和工艺异常的挑战。本研究提出了一种新型的多模态检索增强生成（RAG）框架，自动化地跨越各种增材制造工艺进行异常检测，利用来自文献检索的信息（包括图像和描述性文本），而非训练数据集。该框架集成了从科学文献中进行文本和图像检索，以及多模态生成模型，以在激光粉末床熔（L-PBF）场景下实现零样本异常识别、分类和解释生成。本文提出的框架在来自橡树国家实验室的四个L-PBF制造数据集上进行评估，涵盖各种打印机品牌、型号和材料。该评估表明，该框架在无需额外训练的情况下展现出对多样化图像的适应性和通用性。将Qwen2-VL-2B和GPT-4o-mini作为多模态大语言模型纳入本框架进行比较分析后发现，GPT-4o-mini在制造业异常分类方面优于Qwen2-VL-2B和比例随机基线。此外，对RAG系统的评估确认，纳入检索机制可将平均准确率提高12%，从而降低幻觉风险并提供额外信息。该提出的框架可以通过集成新兴研究持续更新，实现对AM技术不断演变的无缝适应。该可扩展、自动化且具零样本能力的框架简化了AM异常分析，提高了效率和准确性。
引用
@article{arxiv.2505.13828,
title = {Multimodal RAG-driven Anomaly Detection and Classification in Laser Powder Bed Fusion using Large Language Models},
author = {Kiarash Naghavi Khanghah and Zhiling Chen and Lela Romeo and Qian Yang and Rajiv Malhotra and Farhad Imani and Hongyi Xu},
journal= {arXiv preprint arXiv:2505.13828},
year = {2025}
}
备注
ASME 2025 International Design Engineering Technical Conferences and Computers and Information in Engineering Conference IDETC/CIE2025, August 17-20, 2025, Anaheim, CA (IDETC2025-168615)