基于指令跟随模型的富视觉文档自动布局规划
计算机视觉与模式识别
2024-04-24 v1 人工智能
计算与语言
摘要
指令跟随模型的最新进展使用户与模型的交互变得更加友好和高效，拓宽了其适用性。在图形设计中，非专业用户由于技能和资源有限，往往难以创建视觉上吸引人的布局。在这项工作中，我们引入了一种新颖的用于布局规划的多模态指令跟随框架，允许用户通过指定画布大小和设计目的（如用于书籍封面、海报、宣传册或菜单），轻松地将视觉元素排列成定制布局。我们开发了三个布局推理任务来训练模型理解和执行布局指令。在两个基准上的实验表明，我们的方法不仅简化了非专业人员的设过程，而且超越了少样本 GPT-4V 模型的性能，在 Crello 上的 mIoU 提高了 12%。这一进展突显了多模态指令跟随模型自动化和简化设计过程的潜力，为富视觉文档上的各种设计任务提供了一种易于使用的解决方案。
引用
@article{arxiv.2404.15271,
title = {Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models},
author = {Wanrong Zhu and Jennifer Healey and Ruiyi Zhang and William Yang Wang and Tong Sun},
journal= {arXiv preprint arXiv:2404.15271},
year = {2024}
}