面向人机协作的 UI 设计：支持 LLM 的迭代生成
人机交互
2025-10-30 v3
摘要
在自动化 UI 生成中，一个关键挑战是缺乏对迭代过程的支持，因为大多数系统仅关注端到端输出。这源于对设计意图解释能力有限以及缺乏对中间结果透明度。为更好地理解这些挑战，我们进行了一项形式化研究，确定了支持与生成式工具结合的迭代设计的具体可操作要求。基于这些发现，我们提出了 PrototypeFlow，一个面向人的自动 UI 生成系统，利用多模态输入和模型。PrototypeFlow 采用自然语言描述和布局偏好作为输入，生成高保真 UI 设计。其核心是一个主题设计模块，通过提示增强澄清隐式设计意图，并协调子模块进行组件级生成。设计师可对输入、中间结果和最终原型保持完全控制，通过引导生成和直接编辑输出，实现灵活且有针对性的细化。我们的实验和用户研究确认了我们提出的 PrototypeFlow 的有效性和实用性。
引用
@article{arxiv.2412.20071,
title = {Towards Human-AI Synergy in UI Design: Supporting Iterative Generation with LLMs},
author = {Mingyue Yuan and Jieshan Chen and Yongquan Hu and Sidong Feng and Mulong Xie and Gelareh Mohammadi and Zhenchang Xing and Aaron Quigley},
journal= {arXiv preprint arXiv:2412.20071},
year = {2025}
}
备注
ACM Transactions on Computer-Human Interaction