LOCOFY 大型设计模型——从设计到代码的转换方案
软件工程
2025-07-23 v1 人工智能
摘要
尽管大型语言模型和多模态大型语言模型 (LLM) 取得了快速进展，但其在设计到代码领域的应用仍面临与可解释性、可扩展性、资源需求和可重复性相关的诸多挑战。为了解决这些问题，我们引入了大型设计模型 范式，该范式专门针对设计和网页进行训练，以实现从设计到代码的无缝转换。我们通过结合数据工程和适当的模型架构修改，开发了一个训练和推理流水线。训练流水线包括以下部分：1) 设计优化器：使用专有真值数据集开发，用于处理次优设计；2) 标记与特征检测：使用预训练和微调模型，实现 UI 元素的准确检测和分类；3) 自动组件：将重复的 UI 结构提取为可重用组件，从而实现模块化代码的创建，在增强代码可重用性的同时减少冗余。通过这种方式，每个模型都解决了设计到代码转换中独特但关键的问题。此外，我们的推理流水线处理真实世界的设计，为代码生成生成精确且可解释的指令，并确保可靠性。此外，我们的模型使用一种新颖的预览匹配分数指标展示了出色的端到端设计到代码转换准确性。对比实验表明，LDM 在节点定位、响应性和可重复性方面的准确性优于 LLM。而且，我们定制训练的标记和特征检测模型在广泛的测试设计样本中表现出在识别 UI 元素方面的高精度和一致性。因此，我们提出的 LDM 是理解设计的可靠且优越的解决方案，能够随后生成高效且可靠的生产级代码。
引用
@article{arxiv.2507.16208,
title = {LOCOFY Large Design Models -- Design to code conversion solution},
author = {Sohaib Muhammad and Ashwati Vipin and Karan Shetti and Honey Mittal},
journal= {arXiv preprint arXiv:2507.16208},
year = {2025}
}