基于概率图模型学习生成科学论文海报

研究人员常以科学海报的形式总结其工作。海报提供了一种连贯且高效的方式来传达科学论文中表达的核心思想。然而，生成一幅优秀的科学海报是一项复杂且耗时的认知任务，因为此类海报需要具备可读性、信息量以及视觉美感。本文首次研究了从科学论文中学习生成海报这一极具挑战性的问题。为此，我们提出了一种利用图模型的数据驱动框架。具体而言，给定要展示的内容，优秀海报的关键元素（包括每个面板的属性及图形元素的排列）均从数据中学习并推断得出。在推断阶段，采用 MAP 推断框架以融入某些设计原则。为了弥合面板属性与面板内构图之间的差距，我们还提出了一种递归页面分割算法来生成海报的面板布局。为了学习并验证我们的模型，我们收集并发布了一个名为 NJU-Fudan Paper-Poster dataset 的新基准数据集，该数据集包含科学论文及其对应的海报，且带有详尽标注的面板与属性。定性与定量结果均表明了本方法的有效性。