TADDLE：用于检测 LLM 生成同行评审缺陷的工具增强型智能体
人工智能
2026-05-27 v1
摘要
LLM 生成的同行评审数量日益增加，但其缺陷难以检测，因为它们始终流畅且结构完整。现有工作要么在不判断质量的情况下分类作者身份，要么针对人类撰写的评论设计特征进行评分；尚无系统能在缺陷类型层面检测 LLM 生成评论的缺陷。为填补这一差距，我们引入 TADDLE，这是一个用于检测 LLM 生成同行评审缺陷的工具增强型智能体，同时推出首个经专家标注的基准数据集。该基准数据集包含 1800 篇针对 50 篇 ICLR 2025 论文的评论，由 18 位领域专家根据六大缺陷类别（另外一个非缺陷标签）进行多标签标注。TADDLE 将检测任务分解为四个专用分析工具——Verify、Correct、Complete、Transform——由智能体进行协调； Integrator 通过两阶段半监督学习将其输出综合为二进制和多标签分类。大量实验表明，TADDLE 在二进制检测和多标签分类任务上均表现优异。我们已在 https://github.com/AquariusAQ/TADDLE 上发布该基准数据集和代码。
引用
@article{arxiv.2605.26911,
title = {TADDLE: A Tool-Augmented Agent for Detecting Deficient LLM-Generated Peer Reviews},
author = {Hanqi Duan and Xiang Li},
journal= {arXiv preprint arXiv:2605.26911},
year = {2026}
}