LayoutPrompter：唤醒大语言模型的设计能力
计算机视觉与模式识别
2023-11-14 v1
摘要
条件式图形布局生成可自动将用户约束映射为高质量布局，如今已引起广泛关注。尽管近期工作取得了可喜性能，但通用性与数据效率的不足阻碍了其实用化。本工作中，我们提出LayoutPrompter，利用大语言模型（LLMs）通过上下文学习解决上述问题。LayoutPrompter由三个关键组件构成，即输入输出序列化、动态示例选择和布局排序。具体而言，输入输出序列化组件为每个布局生成任务精心设计了输入与输出格式。动态示例选择负责为给定输入选取最有帮助的提示示例。布局排序器用于从LLMs的多个输出中挑选质量最高的布局。我们使用四个公开数据集在所有现有布局生成任务上进行了实验。尽管方法简单，实验结果表明LayoutPrompter无需任何模型训练或微调即可在这些任务上与最先进方法竞争甚至超越。这证明了该通用且免训练方法的有效性。此外，消融研究表明在低数据场景下LayoutPrompter显著优于基于训练的基线，进一步表明了其数据效率。我们的项目见 https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter。
引用
@article{arxiv.2311.06495,
title = {LayoutPrompter: Awaken the Design Ability of Large Language Models},
author = {Jiawei Lin and Jiaqi Guo and Shizhao Sun and Zijiang James Yang and Jian-Guang Lou and Dongmei Zhang},
journal= {arXiv preprint arXiv:2311.06495},
year = {2023}
}
备注
NeurIPS 2023