大语言模型作为研究工具：研究者使用与认知的大规模调查
计算与语言
2024-11-11 v1 人工智能
计算机与社会
数字图书馆
人机交互
摘要
大型语言模型（LLMs）的兴起使许多研究者考虑将其用于科学研究。一些研究者发现利用LLMs增强或自动化研究流程的某些环节具有益处，而另一些则因风险和伦理问题呼吁谨慎。然而，尚少有工作试图量化和刻画研究者如何使用LLMs及其原因。我们呈现了对816位经验证的研究论文作者的首项大规模调查，以了解研究界如何利用和认知LLMs作为研究工具。我们考察了参与者自我报告的LLM使用情况，发现81%的研究者已将LLMs整合到其研究工作流程的不同环节中。我们还发现，学术界传统上处于弱势的群体（非白人、初级研究者、非英语母语研究者）报告了更高的LLM使用率和感知收益，表明有望改善研究公平性。然而，女性、非二元性别者和资深研究者具有更强的伦理关切，可能阻碍其采用。
引用
@article{arxiv.2411.05025,
title = {LLMs as Research Tools: A Large Scale Survey of Researchers' Usage and Perceptions},
author = {Zhehui Liao and Maria Antoniak and Inyoung Cheong and Evie Yu-Yen Cheng and Ai-Heng Lee and Kyle Lo and Joseph Chee Chang and Amy X. Zhang},
journal= {arXiv preprint arXiv:2411.05025},
year = {2024}
}
备注
30 pages, 5 figures