面向自动化同行评审的大型语言模型的方面导向的多层次扰动分析
计算与语言
2025-02-19 v1
摘要
我们提出一种基于方面的多层次扰动框架，用于评估大型语言模型（Large Language Model, LLM）在自动化同行评审中的鲁棒性。该框架探索了论文、评论和答辩书三个关键组成部分 across 多个质量方面（包括贡献、可靠性、呈现、语气和完整性）的扰动。通过应用有针对性的扰动并检查其对 LLM-as-Reviewer 和 LLM-as-Meta-Reviewer 的影响，我们调查了诸如从论文中省略方法细节或更改评审员结论等方面性操作，如何在评审过程中引入显著偏见。我们识别出几个潜在漏洞：强烈否决建议的评审结论可能显著影响元评审；消极或误导性的评论可能被错误地解释为细致；不完整或敌对的答辩书可能意外导致更高的接受率。统计测试表明，这些偏见在各种链式思考（Chain-of-Thought）提示策略下仍然存在，凸显当前 LLM 在关键性评估方面缺乏鲁棒性。我们的框架提供了一种诊断这些漏洞的实用方法，为开发更可靠和更鲁棒的自动化评审系统贡献了重要作用。
引用
@article{arxiv.2502.12510,
title = {Aspect-Guided Multi-Level Perturbation Analysis of Large Language Models in Automated Peer Review},
author = {Jiatao Li and Yanheng Li and Xinyu Hu and Mingqi Gao and Xiaojun Wan},
journal= {arXiv preprint arXiv:2502.12510},
year = {2025}
}
备注
Under Review