利用基于Transformer的语言模型自动化需求满足度评估
软件工程
2023-12-08 v1
摘要
需求满足度评估（RSA）评估与单个需求相关联的一组设计元素是否提供了对该需求的充分覆盖——通常意味着需求中的所有概念至少被一个设计元素所处理。RSA对于任何具有层次分解形式的系统都是一项重要的软件工程活动——尤其是安全或任务关键型系统。在先前的研究中，研究人员使用基本的信息检索（IR）模型将需求和设计元素分解为块，然后评估设计元素块覆盖需求中所有块的程度。然而，由于许多跨越整个句子的关键概念在句子被解析为独立块时未能得到很好的表示，结果准确性较低。在本文中，我们利用自然语言处理的最新进展来提供显著更准确的结果。我们提出了两种主要架构：Satisfaction BERT（Sat-BERT）和Dual-Satisfaction BERT（DSat-BERT），以及它们的多任务学习变体，以改进满足度评估。我们在五个不同的数据集上执行RSA，并将我们变体的结果与基于块的遗留方法进行比较。所有基于BERT的模型都显著优于遗留基线，而Sat-BERT提供了最佳结果，在平均精度均值上平均提高了124.75%。
引用
@article{arxiv.2312.04463,
title = {Leveraging Transformer-based Language Models to Automate Requirements Satisfaction Assessment},
author = {Amrit Poudel and Jinfeng Lin and Jane Cleland-Huang},
journal= {arXiv preprint arXiv:2312.04463},
year = {2023}
}