PostDoc：从长多模态文档生成海报的深度亚可调函数方法
人工智能
2024-05-31 v1 计算与语言
机器学习
摘要
从长输入文档生成一张可读且包含文本与图像的多模态摘要海报，是一种在美观模板和优美设计元素上的单页呈现。将长文档自动转化为海报是一项极少受到研究但极具挑战性的任务。它涉及输入文档的内容摘要、模板生成与和谐化。在本工作中，我们提出了一种可在真实摘要上进行训练，从文档中提取多模态内容的深度亚可调函数，并显式确保良好的覆盖范围、多样性与文本与图像的对齐。随后，我们采用基于大语言模型的改写器，并提出条件于输入内容生成具有various设计要素的模板。我们通过大量自动化和人类评估展示了我们方法的优势。
引用
@article{arxiv.2405.20213,
title = {PostDoc: Generating Poster from a Long Multimodal Document Using Deep Submodular Optimization},
author = {Vijay Jaisankar and Sambaran Bandyopadhyay and Kalp Vyas and Varre Chaitanya and Shwetha Somasundaram},
journal= {arXiv preprint arXiv:2405.20213},
year = {2024}
}