自然语言推理（NLI）在需求工程任务中的应用经验
软件工程
2024-05-09 v1 计算与语言
机器学习
摘要
我们研究了自然语言推理（NLI）在自动化需求工程任务中的应用。特别地，我们关注三个任务：需求分类、需求规约缺陷识别以及利益相关者需求冲突检测。尽管先前的研究已经证明，将 NLI 作为一种通用方法用于广泛的自然语言处理任务具有显著优势，但这些优势尚未在软件需求工程的背景下得到研究。因此，我们设计实验来评估 NLI 在需求分析中的使用。我们将 NLI 的性能与一系列方法进行了比较，包括基于提示的模型、传统迁移学习、由大型语言模型（LLM）驱动的聊天机器人模型以及概率模型。通过在包括传统学习和零样本在内的各种学习设置下进行的实验，我们确凿地证明，我们的 NLI 方法在需求规约分析中超越了经典 NLP 方法以及其他基于 LLM 和聊天机器人的模型。此外，我们分享了所获得的经验教训，刻画了使 NLI 成为自动化需求工程任务合适方法的学习设置。
引用
@article{arxiv.2405.05135,
title = {Lessons from the Use of Natural Language Inference (NLI) in Requirements Engineering Tasks},
author = {Mohamad Fazelnia and Viktoria Koscinski and Spencer Herzog and Mehdi Mirakhorli},
journal= {arXiv preprint arXiv:2405.05135},
year = {2024}
}