面向开发者聊天室对话的基于 LLM 的命名实体识别以细化开发者问题
软件工程
2025-03-04 v1 机器学习
摘要
在软件工程聊天室中，沟通常因问题表述模糊而受阻，无法得到解答。识别关键实体对提高问题清晰度和促进更好交流至关重要。然而，现有研究常忽视软件特定的细微差别。本文引入 Software-specific Named Entity Recognition, Intent Detection, and Resolution Classification (SENIR)，一种利用大型语言模型为开发者聊天室对话标注实体、意图和解决状态的标注方法。为为提高问题清晰度和可解性提供定量指导，我们构建了解决预测模型，利用 SENIR 的实体与意图标签及额外预测特征。我们在 DISCO 数据集上评估了 SENIR，使用数据集中部分已标注的聊天室对话。SENIR 在实体识别上达到 86% 的 F 分值，意图检测上达到 71% 的 F 分值，解决状态分类上达到 89% 的 F 分值。此外，我们的解决预测模型在多种抽样策略（随机欠抽样和 SMOTE 过抽样）和评估方法（5 折交叉验证、10 折交叉验证和自助法）下测试，AUC 值范围为0.7至0.8。积极情感和诸如编程语言、用户变量等实体在多种意图下是影响解决率的关键因素，而诊断实体在与错误相关的问题中更为重要。此外，解决率随意图而异：API 使用和 API 更改的问题解决率较高，而差异（Discrepancy）和审查（Review）则较低。卡方检验确认了这些差异具有统计显著性。
引用
@article{arxiv.2503.00673,
title = {Towards Refining Developer Questions using LLM-Based Named Entity Recognition for Developer Chatroom Conversations},
author = {Pouya Fathollahzadeh and Mariam El Mezouar and Hao Li and Ying Zou and Ahmed E. Hassan},
journal= {arXiv preprint arXiv:2503.00673},
year = {2025}
}