LLM 模拟偏好的失真视角：AI 会误导设计吗？
人机交互
2026-05-19 v1
摘要
数字解决方案的设计师越来越多地就其工作咨询大型语言模型（LLM）。然而，这如何影响他们产出的用户体验仍不明确，且尚无既定实践。我们研究了由 LLM 驱动的模拟方法所表达的设计偏好与真实用户设计偏好之间的一致性。我们提出了一项研究，汇集了 UXtweak 在线研究平台的用户在实践中进行的 29 项偏好测试的真实世界数据和设计刺激（n = 2073）。我们进行了整体多模态模拟，在其中操纵 LLM 变量（模型推理、采样、角色类型和特异性），并评估其对算法保真度的影响。我们的结果揭示了人们的真实设计偏好与 LLM 模拟之间存在显著且系统性的差异，且这种差异在各种操纵下保持一致。合成的理由缺乏真正的深度、细微差别和推理，它们被诸如关注通用属性、特定元素、详述和过度赞美等模式所替代。本研究对视觉设计刺激中偏好所给予的独特关注，突显了 LLM 在对设计团队而言直观却至关重要的语境中对感知和意义的错误表征。鉴于我们的发现在大量真实世界研究中得到了重复验证，其外部效度和生态效度很高。
引用
@article{arxiv.2605.18311,
title = {Distorted Perspectives of LLM-Simulated Preferences: Can AI Mislead Design?},
author = {Eduard Kuric and Peter Demcak and Matus Krajcovic},
journal= {arXiv preprint arXiv:2605.18311},
year = {2026}
}