大型语言模型在学术写作中的渗透与同行评审
计算与语言
2025-02-18 v1
摘要
尽管大型语言模型 (LLM) 的广泛使用带来了便利，但也引发了对学术研究及学术过程可信度的担忧。为更好地理解这些动态，我们从多个视角和维度评估了 LLM 在学术工作流程中的渗透情况，提供了其日益影响的有力证据。我们提出了一个包含两个组成部分的框架：\texttt{ScholarLens}，是一个涵盖学术写作和同行评审中人类生成与 LLM 生成内容的精选数据集，用于多视角评估；\texttt{LLMetrica}，是一个基于规则指标和模型检测器的工具，用于多维度评估 LLM 渗透情况。我们的实验表明 \texttt{LLMetrica} 的有效性，揭示了 LLM 在学术过程中发挥作用的日益增长的角色。这些发现强调了在 LLM 使用中保持透明度、问责制和伦理实践的必要性，以维持学术可信度。
引用
@article{arxiv.2502.11193,
title = {Large Language Models Penetration in Scholarly Writing and Peer Review},
author = {Li Zhou and Ruijie Zhang and Xunlian Dai and Daniel Hershcovich and Haizhou Li},
journal= {arXiv preprint arXiv:2502.11193},
year = {2025}
}
备注
Transparency in NLP, LLM-generated text evaluation and detection, LLM Penetration, Scholarly Credibility and Accountability