在 git 提交消息上评估一个机器人检测模型
软件工程
2021-03-23 v1
摘要
在分布式软件开发活动中检测机器人的存在对于防止大规模社会技术经验分析中的偏差非常重要。在先前工作中，我们提出了一种基于 GitHub 账户的拉取请求和议题评论来检测 GitHub 仓库中机器人的分类模型。本研究将该方法推广到基于 git 贡献者提交消息的检测。我们在一个包含 6922 个 git 贡献者的大型数据集上训练并评估了该分类模型。基于拉取请求和议题评论的原始模型在该数据集上获得了 0.77 的精确率。在 git 提交消息上重新训练分类模型将精确率提升至 0.80。作为概念验证，我们在 BoDeGiC（一个用于检测 git 仓库中机器人的开源命令行工具）中实现了该模型。
引用
@article{arxiv.2103.11779,
title = {Evaluating a bot detection model on git commit messages},
author = {Mehdi Golzadeh and Alexandre Decan and Tom Mens},
journal= {arXiv preprint arXiv:2103.11779},
year = {2021}
}
备注
4 pages, 1 pages of references