UICrit: 通过 UICritique 数据集提升自动化界面设计评估

自动化界面评估对设计过程有益，例如，用于比较不同的界面设计，或进行自动化启发式评估。特别是，基于 LLM 的界面评估有望对各种类型的界面和评估任务具有广泛的可移植性。然而，当前的 LLM-based 技术尚未匹配人类评估者的性能。我们假设，通过收集针对性的用户界面反馈数据集，然后使用该数据集来提高通用 LLM 的性能，可以提高自动评估的效果。我们提供了一个包含 3,059 条设计 critique 和 983 个移动界面质量评分的针对性数据集，来自七位经验丰富的设计师。我们对数据集的特征进行了深入分析。随后，我们利用该数据集通过各种 few-shot 和视觉提示技术实现了 LLM 生成的用户界面反馈性能提升了 55%。我们还讨论了该数据集的未来应用，包括为生成式界面技术训练奖励模型，以及微调一个面向工具的多模态 LLM 以自动化界面评估。