从行业声称到经验现实：拉取请求中代码审查代理的实证研究
软件工程
2026-04-06 v1
摘要
自主编码代理正以前所未有的规模生成代码，仅 OpenAI Codex 在两个月内就创建了超过 400,000 个拉取请求（PR）。随着代理式 PR 数量的增加，代码审查代理（CRA）已成为开发工作流中的常规守门人。行业报告声称 CRA 可以在开源仓库中管理 80% 的 PR 而无需人工参与。因此，理解 CRA 审查的有效性对于维护开发工作流和防止在废弃的拉取请求上浪费精力至关重要。然而，关于 CRA 反馈质量如何影响 PR 结果的经验证据仍然有限。本研究旨在帮助研究人员和实践者理解 CRA 何时以及如何影响 PR 合并成功率，通过实证分析审查者组成和 CRA 生成评论的信号质量。基于 AIDev 的 19,450 个 PR，我们分析了 3,109 个处于已评论审查状态的唯一 PR，比较了仅人工审查与仅 CRA 审查的情况。我们检查了 98 个仅 CRA 审查的已关闭 PR，以评估低信噪比是否导致废弃。仅 CRA 审查的 PR 合并率为 45.20%，比仅人工审查的 PR（68.37%）低 23.17 个百分点，且废弃率显著更高。我们的信噪比分析显示，60.2% 的已关闭仅 CRA 审查 PR 落在 0–30% 信号范围内，且 13 个 CRA 中有 12 个的平均信号比率低于 60%，表明自动审查反馈中存在大量噪声。这些结果表明，缺乏人工监督的 CRA 往往生成与更高废弃率相关的低信号反馈。对实践者而言，我们的结果表明 CRA 应增强而非取代人工审查者，且人工参与对于有效且可操作的代码审查仍然至关重要。
引用
@article{arxiv.2604.03196,
title = {From Industry Claims to Empirical Reality: An Empirical Study of Code Review Agents in Pull Requests},
author = {Kowshik Chowdhury and Dipayan Banik and K M Ferdous and Shazibul Islam Shamim},
journal= {arXiv preprint arXiv:2604.03196},
year = {2026}
}
备注
Accepted at 23rd International Conference on Mining Software Repositories (MSR), 2026