理解与预测 GitHub 上有毒对话的脱轨
软件工程
2025-03-20 v3
摘要
软件项目的繁荣依赖于来自不同背景的个人的参与和贡献。然而，有毒语言和负面互动会阻碍贡献者的参与和留存，并排斥新来者。主动审核策略旨在通过处理那些偏离预期目的的对话来防止毒性的发生。本研究旨在理解和预测 GitHub 上导致毒性的对话脱轨。为促进这项研究，我们策划了一个新颖的数据集，包含来自 GitHub 的 202 个带有脱轨点标注的有毒对话，以及 696 个作为基线的无毒对话。基于该数据集，我们识别了有毒对话和脱轨点的独特特征，包括语言标记（如第二人称代词、否定词，以及苦涩沮丧和不耐烦的语气），以及项目贡献者与外部参与者之间对话动态的模式。利用这些经验观察，我们提出了一种主动审核方法，以在升级前自动检测和处理潜在的有害对话。通过利用现代 LLM，我们开发了一种对话轨迹摘要技术，该技术能够捕捉讨论的演变并识别脱轨的早期迹象。我们的实验表明，专为提供 GitHub 对话摘要而定制的 LLM 提示在预测对话脱轨方面达到了 70% 的 F1-Score，相比一系列基线方法有显著提升。
引用
@article{arxiv.2503.02191,
title = {Understanding and Predicting Derailment in Toxic Conversations on GitHub},
author = {Mia Mohammad Imran and Robert Zita and Rebekah Copeland and Preetha Chatterjee and Rahat Rizvi Rahman and Kostadin Damevski},
journal= {arXiv preprint arXiv:2503.02191},
year = {2025}
}