中文

StressPrompt:压力是否对大语言模型和人类表现产生类似影响?

人机交互 2025-01-29 v2 人工智能 计算与语言

摘要

人类常常会经历压力,这会显著影响其表现。本研究探讨了大语言模型(LLM)是否 exhibit类似于人类的压力反应,以及其在不同压力诱导提示下的表现是否波动。为此,我们开发了一套新颖的提示词,称为StressPrompt,旨在诱导不同程度的压力。这些提示词源自 established心理学框架,根据来自人类参与者的评级进行精心校准。随后,我们将这些提示词应用于多个LLM,以评估其在包括指令遵循、复杂推理和情感智能等任务上的响应。研究发现,LLM如同人类一样,在适度压力下表现最佳,符合Yerkes-Dodson法则。值得注意的是,在低压力和高压力条件下,其表现会下降。我们的分析进一步表明,这些StressPrompt显著改变了LLM的内部状态,导致其神经表征发生变化,这些变化类似于人类对压力的响应。该研究为理解LLM的operational robust性和灵活性提供了关键见解,展示了在诸如客户服务、医疗和紧急响应等现实场景中,其中压力普遍存在的情况下,设计能够维持高性能的AI系统的重要性。此外,本研究为更广泛的AI研究社区贡献了新的视角,关于LLM如何处理不同情景及其与人类认知的相似性。

关键词

引用

@article{arxiv.2409.17167,
  title  = {StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly?},
  author = {Guobin Shen and Dongcheng Zhao and Aorigele Bao and Xiang He and Yiting Dong and Yi Zeng},
  journal= {arXiv preprint arXiv:2409.17167},
  year   = {2025}
}

备注

11 pages, 9 figures, Accepted by AAAI 2025