DesignPref：捕捉视觉设计生成中的个人偏好

生成模型，如大型语言模型和文本到图像扩散模型，正越来越多地用于创建视觉设计，如用户界面（UI）和演示文稿。微调和基准测试这些生成模型通常依赖人工标注的设计偏好数据集。然而，由于视觉设计的主观性和高度个人化特性，偏好在不同个体之间差异很大。本文通过引入 DesignPref 数据集来研究这一问题，该数据集包含 12000 条 UI 设计生成的两两比较，由 20 名专业设计师进行多级偏好标注。我们发现，在经过训练的设计师之间，存在相当程度的不同步意见（二元偏好下的 Krippendorff's alpha = 0.25）。这些设计师提供的自然语言理由表明，不同步意见源于对 various design aspect 重要性和个人偏好差异的感知不同。通过 DesignPref，我们证明，针对训练聚合评判模型的传统多数投票方法往往不能准确反映个人偏好。为解决这一挑战，我们研究了多种个人化策略，特别是微调或整合设计师特定标注到 RAG 流程中。我们的结果表明，个人化模型在预测个体设计师偏好方面始终优于聚合基线模型，即使使用示例数仅为其 1/20 也能实现。我们的工作提供了第一个用于研究个性化视觉设计评估的数据集，支持未来研究以建模 individual design taste。