基于多模态 LLM 代理的自然语言驱动 PDF 图表编辑
信息检索
2025-01-22 v1 计算与语言
多智能体系统
摘要
图表可视化对于数据解读和沟通至关重要,但在 PDF 中主要以图像形式出现,缺乏数据表格和样式信息。为实现对 PDF 或数字扫描件中图表的有效编辑,我们提出 PlotEdit,一个 novel 的多代理框架,用于通过自反 LLM 代理实现自然语言驱动的图表图像编辑。PlotEdit 编排五个 LLM 代理:(1) Chart2Table 用于数据表格提取,(2) Chart2Vision 用于样式属性识别,(3) Chart2Code 用于检索渲染代码,(4) Instruction Decomposition Agent 用于解析用户请求以生成可执行步骤,(5) Multimodal Editing Agent 用于实现细粒度图表组件修改——通过多模态反馈协调,以保持视觉保真度。PlotEdit 在 ChartCraft 数据集上优于现有基线方法,涵盖样式、布局、格式和数据导向编辑,提升了视力受损用户的可访问性并提高了初学者的生产力。
引用
@article{arxiv.2501.11233,
title = {PlotEdit: Natural Language-Driven Accessible Chart Editing in PDFs via Multimodal LLM Agents},
author = {Kanika Goswami and Puneet Mathur and Ryan Rossi and Franck Dernoncourt},
journal= {arXiv preprint arXiv:2501.11233},
year = {2025}
}
备注
Accepted at ECIR 2025