改进代码审查员推荐：准确性、延迟、工作负载与旁观者
软件工程
2025-05-06 v2
摘要
Meta 的代码审查团队正在持续改进代码审查流程。为评估新的推荐器，我们进行了三次 A/B 测试，这是一种随机对照实验试验。实验 1：我们开发了一种基于文献中已成功使用且可低延迟计算的特征的新推荐器。在 2022 年春季对 8.2 万个差异 (diffs) 进行的 A/B 测试中，我们发现新推荐器更准确且延迟更低。实验 2：审查员的工作负载分布不均，我们的目标是减少顶级审查员的工作负载。随后，我们在 2023 年冬季对 2.8 万名差异作者进行了关于工作负载平衡推荐器的 A/B 测试。我们的 A/B 测试结果喜忧参半。实验 3：我们怀疑旁观者效应可能会减缓仅分配给团队的差异的审查速度。我们在 2023 年春季对 1.25 万名作者进行了 A/B 测试，发现当明确分配推荐的个人时，差异被审查所需的时间大幅减少。我们的发现还表明，历史回测与 A/B 测试实验结果之间可能存在差异。
引用
@article{arxiv.2312.17169,
title = {Improving Code Reviewer Recommendation: Accuracy, Latency, Workload, and Bystanders},
author = {Peter C. Rigby and Seth Rogers and Sadruddin Saleem and Parth Suresh and Daniel Suskin and Patrick Riggs and Chandra Maddila and Nachiappan Nagappan},
journal= {arXiv preprint arXiv:2312.17169},
year = {2025}
}