大语言模型作为元审稿人助手：一项案例研究
计算与语言
2025-02-11 v2 人工智能
机器学习
神经与进化计算
摘要
在学术同行评审过程中，最重要但也最繁重的任务之一是撰写元审稿意见，这涉及整合多位专家同行的不同意见，以资深专家的身份形成自己的判断，然后将所有这些观点总结为简洁的整体概述以提出总体建议。这一过程耗时且可能受到疲劳、不一致、遗漏微小细节等人为因素的影响。鉴于大语言模型 (LLMs) 的最新重大进展，严格研究 LLMs 是否能帮助元审稿人更好地完成这项重要任务是非常引人注目的。在本文中，我们使用三种流行的 LLMs（即 GPT-3.5、LLaMA2 和 PaLM2）进行了一项案例研究，通过生成受控的多视角总结 (MPS) 来协助元审稿人更好地理解多位专家的观点。为了实现这一目标，我们基于最近提出的 TELeR 分类法，用不同类型/级别的提示词提示这三种 LLMs。最后，我们对 LLMs 生成的 MPSs 进行了详细的定性研究并报告了我们的发现。
引用
@article{arxiv.2402.15589,
title = {LLMs as Meta-Reviewers' Assistants: A Case Study},
author = {Eftekhar Hossain and Sanjeev Kumar Sinha and Naman Bansal and Alex Knipper and Souvika Sarkar and John Salvador and Yash Mahajan and Sri Guttikonda and Mousumi Akter and Md. Mahadi Hassan and Matthew Freestone and Matthew C. Williams and Dongji Feng and Santu Karmaker},
journal= {arXiv preprint arXiv:2402.15589},
year = {2025}
}
备注
Accepted to NAACL 2025, 41 pages