识别 GitHub 拉取请求与议题评论中的机器人活动
软件工程
2021-03-11 v1
摘要
开发机器人在 Github 上用于自动化重复性活动。此类机器人通过议题评论和拉取请求评论与人工参与者交流。识别此类机器人评论可防止与软件开发相关的社会技术研究出现偏差。为了实现其识别的自动化，我们提出了一种基于自然语言处理的分类模型。从包含 19,282 条 PR 和议题评论的平衡 ground-truth 数据集出发，我们使用词袋和 TF-IDF 技术相结合将评论编码为向量。我们训练了一系列二元分类器，基于该向量表示预测评论类型（人工或机器人）。多项朴素贝叶斯（multinomial Naive Bayes）分类器提供了最佳结果。其在包含 50% 数据的测试集上的平均精确率、召回率和 F1 分数达到 0.88。尽管该模型在拉取请求和议题评论上显示出有前景的结果，但仍需进一步工作以将模型推广到其他类型的活动，如提交消息和代码审查。
引用
@article{arxiv.2103.06042,
title = {Identifying bot activity in GitHub pull request and issue comments},
author = {Mehdi Golzadeh and Alexandre Decan and Eleni Constantinou and Tom Mens},
journal= {arXiv preprint arXiv:2103.06042},
year = {2021}
}
备注
4 pages, 1 page of reference, 1 figure, 3 tabels