提前预警有毒: 预测 GitHub 对话中的负面趋势
软件工程
2025-12-18 v1 计算机与社会
人机交互
摘要
开源软件 (OSS) 社区中的有毒互动会减少贡献者的参与度,并威胁项目的可持续性。防止这种有毒在其形成前发生,需要清晰地理解有害对话如何展开。然而,大多数主动 moderation 策略都是手动的,需要来自社区维护者的大量时间和精力。为支持更可扩展的方法,我们收集了 159 条跌宕的有毒线程和 207 条非有毒线程的 GitHub 讨论数据集。我们的分析表明,有毒性可通过紧张触发器、情感转变和特定对话模式进行预测。我们提出一种新型的大型语言模型 (LLM)-基于框架,用于预测 GitHub 对话中的跌宕,其采用两步提示管道。首先,通过最小-最大 (Least-to-Most, LtM) 提示生成 对话动态概述 (Summaries of Conversation Dynamics, SCDs);随后使用这些概述来估计跌宕的可能性。我们对 Qwen 和 Llama 模型进行评估,我们的 LtM 策略在决策阈值为 0.3 时分别实现了 0.901 和 0.852 的 F1 分数,在预测对话跌宕方面优于 established NLP 框架。外部验证在来自 308 条 GitHub issue 线程(65 条有毒,243 条非有毒)的数据集上yielded an F1 分数最高可达 0.797。我们的发现表明,结构化 LLM 提示对在 OSS 中预测对话跌宕具有有效性,从而实现对话跌宕的主动和可解释的 moderation。
引用
@article{arxiv.2512.15031,
title = {Toxicity Ahead: Forecasting Conversational Derailment on GitHub},
author = {Mia Mohammad Imran and Robert Zita and Rahat Rizvi Rahman and Preetha Chatterjee and Kostadin Damevski},
journal= {arXiv preprint arXiv:2512.15031},
year = {2025}
}