InsightX智能体：基于LMM的集成工具可靠X射线无损检测分析框架
人工智能
2026-03-10 v3 计算机视觉与模式识别
摘要
无损检测(NDT)，特别是X射线检查，对工业质量保证至关重要，但现有基于深度学习的方法往往缺乏交互性、可解释性以及关键自我评估能力，限制了其可靠性和操作员信任。为此，本文提出InsightX智能体——一个新型LMM驱动的智能体框架，用于可靠、可解释且具互动性的X射线NDT分析。不同于典型的顺序管道，InsightX智能体将大型多模态模型(LMM)作为中心编排器，协调稀疏可调多尺度检测器(Sparse Deformable Multi-Scale Detector, SDMSD)和证据 grounding 反射(Evidence-Grounded Reflection, EGR)工具。SDMSD从多尺度特征图生成密集缺陷区域提议，通过非最大抑制(NMS)进行稀疏化，在保持计算效率的同时优化小型稠密目标的检测。EGR工具通过受链式思考启发的审查过程引导LMM智能体，融合情境评估、 individual缺陷分析、误报消除、置信度重校准和质量保证，以验证和细化SDMSD的初始提议。通过战略性地运用和智能地使用工具，InsightX智能体超越被动数据处理，实现主动推理，增强诊断可靠性，提供整合多源信息的解释。在GDXray+数据集上的实验评估表明，InsightX智能体不仅以96.54%的高对象检测F1分数，还在可解释性和可信度方面显著提升，凸显了LMM驱动的智能体框架在工业检测任务中的变革潜力。
引用
@article{arxiv.2507.14899,
title = {InsightX Agent: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis},
author = {Jiale Liu and Huan Wang and Yue Zhang and Xiaoyu Luo and Jiaxiang Hu and Zhiliang Liu and Min Xie},
journal= {arXiv preprint arXiv:2507.14899},
year = {2026}
}