面向复杂过程工程图表的人类水平理解：基于 Introspective 多智能体框架的教育性开域问答
计算与语言
2024-09-04 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
在化工和过程行业中，工艺流程图（PFD）和管道与仪表图（P&ID）对于设计、建设和维护至关重要。近期，像 GPT4（Omni）等大型多模态模型（LMM）在理解和解释过程图表方面显示出前景，尤其是在视觉问答（VQA）任务中。然而，专有模型存在数据隐私风险，其计算复杂度阻碍了在消费级硬件上进行 domain-specific 定制知识编辑。为克服这些挑战，我们提出一种安全的本地部署企业解决方案，采用基于稀疏高斯过程的分层多智能体检索增强生成（RAG）框架，用于开域问答（ODQA）任务，提供增强的数据隐私、可解释性和成本效益。我们新颖的多智能体框架采用 introspective 和 specialized sub-agents，运用开源小规模多模态模型结合 ReAct（Reason+Act）提示技术进行 PFD 和 P&ID 分析，整合多个信息来源以提供准确且上下文相关的答案。该方法通过迭代自我纠正，旨在为 ODQA 任务提供卓越的性能。我们进行了严格的实验研究，经empirical 结果验证了所提出方法的有效性。
引用
@article{arxiv.2409.00082,
title = {Towards Human-Level Understanding of Complex Process Engineering Schematics: A Pedagogical, Introspective Multi-Agent Framework for Open-Domain Question Answering},
author = {Sagar Srinivas Sakhinana and Geethan Sannidhi and Venkataramana Runkana},
journal= {arXiv preprint arXiv:2409.00082},
year = {2024}
}
备注
Our paper is accepted for publication at ML4CCE workshop at ECML PKDD 2024