更小但更好：统一布局生成中的小型大型语言模型
机器学习
2025-02-21 v1
摘要
我们提出 LGGPT，一个针对统一布局生成设计的 LLM 模型。首先，我们提出任意布局指令 (ALI) 和通用布局响应 (ULR) 作为统一的输入/输出模板。ALI 能够容纳跨多个布局领域的任意布局生成任务输入，使 LGGPT 能够统一处理此前未探索的任务通用和领域通用的布局生成。ALI 和 ULR 结构简洁，省去了现有 HTML 格式中常见的冗余标记，促进了高效指令调优，提升了统一生成性能。在此基础上，我们提出区间量化编码 (IQE) 策略，将 ALI 压缩为更紧凑的结构。IQE 精确保留有效布局线索，消除信息量较少的占位符，促进 LGGPT 在统一训练过程中捕获复杂且可变的布局生成条件。实验结果表明，LGGPT 在性能上优于或与现有方法持平。值得注意的是，LGGPT 在紧凑的 1.5B 参数 LLM 上实现了显著的专业性与效率平衡，甚至在最广泛且最具挑战性的统一场景中超越了以往的 7B 或 175B 模型。此外，我们强调了在统一布局生成中采用 LLM 的必要性，并通过比较不同规模的 LLM 得出 1.5B 可能是最佳参数规模。代码已公开于 https://github.com/NiceRingNode/LGGPT。
引用
@article{arxiv.2502.14005,
title = {Smaller But Better: Unifying Layout Generation with Smaller Large Language Models},
author = {Peirong Zhang and Jiaxin Zhang and Jiahuan Cao and Hongliang Li and Lianwen Jin},
journal= {arXiv preprint arXiv:2502.14005},
year = {2025}
}