SciDoc2Diagrammer-MAF：迈向由多方面反馈细化引导的科学文档图表生成
计算与语言
2024-10-17 v2
摘要
从学术论文中自动创建科学图表可以显著简化教程、演示文稿和海报的制作过程，从而节省时间并加速该流程。当前的文本到图像模型难以从长上下文输入中生成准确且视觉美观的图表。我们提出了 SciDoc2Diagram，这是一项从科学论文中提取相关信息并生成图表的任务，同时提供了一个基准数据集 SciDoc2DiagramBench。我们开发了一个多步流水线 SciDoc2Diagrammer，它利用中间代码生成根据用户意图生成图表。我们观察到，初始图表草稿通常不完整或对原文不忠实，这促使我们开发了 SciDoc2Diagrammer-Multi-Aspect-Feedback (MAF)，这是一种细化策略，可显著增强事实正确性和视觉吸引力，并在自动和人工评估上均优于现有模型。
引用
@article{arxiv.2409.19242,
title = {SciDoc2Diagrammer-MAF: Towards Generation of Scientific Diagrams from Documents guided by Multi-Aspect Feedback Refinement},
author = {Ishani Mondal and Zongxia Li and Yufang Hou and Anandhavelu Natarajan and Aparna Garimella and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:2409.19242},
year = {2024}
}
备注
Code and data available at https://github.com/Ishani-Mondal/SciDoc2DiagramGeneration