支持对大规模大语言模型输出的意义建构
人机交互
2024-01-26 v1 机器学习
摘要
大语言模型（LLM）能够针对单个提示生成多个响应，然而在帮助最终用户或系统设计者利用这一能力方面所做的工作却很少。在本文中，我们探讨了如何同时呈现多个 LLM 响应。我们设计了五个特征，其中包括用于计算文本文档间相似性与差异性的既有及全新方法，以及如何渲染其输出。我们报告了一项受控用户研究（n=24）和八个案例研究，以评估这些特征及其如何支持用户完成不同任务。我们发现，这些特征支持广泛的意义建构任务，甚至使参与者先前认为过于困难的任务变得现在可处理。最后，我们提出了设计指南，为未来新型 LLM 界面的探索提供参考。
引用
@article{arxiv.2401.13726,
title = {Supporting Sensemaking of Large Language Model Outputs at Scale},
author = {Katy Ilonka Gero and Chelse Swoopes and Ziwei Gu and Jonathan K. Kummerfeld and Elena L. Glassman},
journal= {arXiv preprint arXiv:2401.13726},
year = {2024}
}
备注
34 pages, 13 figures, conditionally accepted to ACM Conference on Human Factors in Computing Systems 2024