没有证据表明 LLM 在问题再框定中具有实用性
人机交互
2025-03-04 v1
摘要
问题再框定是一种设计活动，通过创建不同的替代视角来重新定义所述设计问题的关注点。生成替代问题框架具有挑战性，因为需要构思符合给定问题情境的新颖且有用的视角。大型语言模型（LLM）可通过其生成能力辅助这一活动。然而，尚不清楚它们是否能帮助设计师产出高质量的框架。因此，我们询问了使用 LLM 是否有益。为此，我们比较了三种使用 LLM 的方式（N=280）：1）自由形式，2）直接生成，3）基于再框定理论的结构化方法。我们发现，使用 LLM 并未帮助提高问题框架的质量。甚至，它增加了经验丰富者与非经验丰富者之间的能力差距。此外，非经验丰富者在使用 LLM 时感知到的自主性更低。我们得出结论，在问题再框定中使用 LLM 没有收益，并讨论导致这种无效因素的可能原因。
引用
@article{arxiv.2503.01631,
title = {No Evidence for LLMs Being Useful in Problem Reframing},
author = {Joongi Shin and Anna Polyanskaya and Andrés Lucero and Antti Oulasvirta},
journal= {arXiv preprint arXiv:2503.01631},
year = {2025}
}
备注
14 pages, 10 figures, 2 tables, Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems