通过小模型增强提示工程提升架构战术检测的准确性与可理解性
软件工程
2025-03-06 v1
摘要
架构战术（Architectural Tactics, 简称 ATs）作为架构决策在代码中的具体实现，解决软件系统的非功能性需求。由于架构知识在代码实现中隐含，开发人员在进行代码修改或优化时可能无意中改变或删除这些战术，从而引发架构退化，逐步削弱系统原始设计的效果。虽然许多研究者提出了基于机器学习的方法来提高检测代码中 ATs 的准确性，但其黑箱特性以及所需的架构领域知识为开发人员在验证结果方面带来了显著挑战。有效的验证不仅需要准确的检测结果，还需要可解释的解释以增强其可理解性。然而，这是当前研究中的一个关键缺口。大型语言模型（LLM）如果具备领域知识，即可生成易于解释的 ATs 检测注释。针对获取领域知识而进行的微调面临灾难性遗忘和硬件限制等挑战。因此，我们提出了 Prmt4TD（Prompt4TD），一个小模型增强式提示框架，用于提升 ATs 检测的准确性和可理解性。将微调后的小模型与情境学习相结合，既可以降低微调成本，又为 LLM 注入额外的领域知识。Prmt4TD 能够利用 LLM 的卓越处理与推理能力，生成易于解释的 ATs 检测结果。我们的评估结果表明，Prmt4TD 在 ATs 平衡数据集上实现了 13%-23% 的 F1 分数提升，并显著增强了检测结果的可理解性。
引用
@article{arxiv.2503.03609,
title = {Enhancing the Accuracy and Comprehensibility in Architectural Tactics Detection via Small Model-Augmented Prompt Engineering},
author = {Lingli Cao and He Zhang and Shanshan Li and Danyang Li and Yanjing Yang and Chenxing Zhong and Xin Zhou and Yue Xie},
journal= {arXiv preprint arXiv:2503.03609},
year = {2025}
}