Follow the Flow: 基于神经符号代理的细粒度流程图归因
计算与语言
2025-06-03 v1
摘要
流程图是可视化决策过程的关键工具。然而，其非线性结构和复杂的视觉-文本关系使得利用 LLM 解释它们颇具挑战，因为视觉-语言模型在分析这些图表时经常产生不存在的连接和决策路径的幻觉。这损害了物流、健康和工程等关键领域中自动化流程图处理的可靠性。我们引入了细粒度流程图归因任务，该任务追踪为流程图相关的 LLM 响应提供基础的具体组件。流程图归因通过将生成的响应链接到流程图的结构，确保了 LLM 预测的可验证性并提高了可解释性。我们提出了 FlowPathAgent，一种通过基于图的推理执行细粒度事后归因的神经符号代理。它首先对流程图进行分割，然后将其转换为结构化符号图，接着采用代理式方法与图动态交互，以生成归因路径。此外，我们提出了 FlowExplainBench，一种用于评估跨不同风格、领域和问题类型的流程图归因的新颖基准。实验结果表明，FlowPathAgent 在流程图问答中减轻了 LLM 回答中的视觉幻觉，在我们提出的 FlowExplainBench 数据集上比强基线高出 10-14%。
引用
@article{arxiv.2506.01344,
title = {Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents},
author = {Manan Suri and Puneet Mathur and Nedim Lipka and Franck Dernoncourt and Ryan A. Rossi and Vivek Gupta and Dinesh Manocha},
journal= {arXiv preprint arXiv:2506.01344},
year = {2025}
}