风险还是机会？大型语言模型与人机交互研究中的可重复性
人机交互
2024-11-04 v3
摘要
可重复性是跨学科领域的主要关注议题。人机交互（HCI）由于所采用的研究方法种类繁多，面临诸多可重复性挑战。本文探讨了大型语言模型（LLM）在用户体验（UX）设计和研究活动中日益增加的采用情况，如何影响 HCI 中的可重复性。具体分析了通过类比从过去到未来的（误）实践（如 p-hacking 与 prompt-hacking）、一般性偏差、数据分析支持、文档与教育要求，以及对社区可能产生的压力等方面的挑战。我们讨论了每个议题的风险与机会，认为更为全面的讨论有助于塑造最佳实践，促进围绕在 HCI 研究中使用大型语言模型的有效可重复实践。
引用
@article{arxiv.2404.15782,
title = {Risk or Chance? Large Language Models and Reproducibility in HCI Research},
author = {Thomas Kosch and Sebastian Feger},
journal= {arXiv preprint arXiv:2404.15782},
year = {2024}
}
备注
Published in ACM Interactions