利用图RAG与提示工程提升基于大语言模型的自动需求可追溯性与合规性检查
软件工程
2024-12-12 v1 信息检索
摘要
确保软件需求规范（SRS）与更高层组织或国家要求保持一致，尤其是在金融和航空等受监管环境中至关重要。在这些领域，保持一致性、遵循监管框架、最小化错误、满足关键期望值对于系统的可靠运行至关重要。大语言模型（LLM）的广泛采用凸显了其巨大潜力，但在检索相关信息和增强推理能力方面仍有很大的提升空间。本研究表明，将稳健的图RAG框架与链式思考（Chain of Thought）和树状思考（Tree of Thought）等先进提示工程技术相结合，可以显著提升性能。与基线RAG方法和简单提示策略相比，该方法提供更准确和更具上下文感知的结果。尽管该方法在性能上实现了显著提升，但也面临挑战。其成本高昂且在跨越多样化情境中的实现更为复杂，需要仔细适应具体情境。此外，其有效性高度依赖于拥有完整和准确的输入数据，而这在实际中并不总是容易获得，这进一步限制了其可扩展性和实用性。
引用
@article{arxiv.2412.08593,
title = {Leveraging Graph-RAG and Prompt Engineering to Enhance LLM-Based Automated Requirement Traceability and Compliance Checks},
author = {Arsalan Masoudifard and Mohammad Mowlavi Sorond and Moein Madadi and Mohammad Sabokrou and Elahe Habibi},
journal= {arXiv preprint arXiv:2412.08593},
year = {2024}
}