微调大语言模型与评估检索方法以改进建筑规范问答
计算与语言
2025-05-09 v1 信息检索
机器学习
摘要
建筑规范是为确保结构完整性、防火安全和可达性而制定的设计、施工和安全标准。它们通常篇幅庞大、内容复杂且更新频繁，使得人工查询既困难又耗时。主要难点包括浏览大量文本、解读技术语言以及在不同章节中识别相关条款。一个潜在的解决方案是构建一个基于建筑规范回答用户查询的问答（QA）系统。在构建问答系统的各种方法中，检索增强生成（RAG）性能突出。RAG 由两个组件构成：检索器和语言模型。本研究侧重于为建筑规范确定合适的检索器方法，并利用微调技术优化语言模型的生成能力。我们通过在加拿大国家建筑规范（NBCC）上执行检索，对各种检索方法进行了详细评估，并利用源自 NBCC 的数据集探索了领域特定微调对几种语言模型的影响。我们的分析包括对不同检索器的比较评估，以及预训练模型和微调模型的性能对比，以确定在 NBCC 数据集上使用微调进行语言模型领域特定适应的有效性和效果。实验结果表明，Elasticsearch 被证明是所有检索器中最鲁棒的。研究结果还表明，在 NBCC 特定数据集上微调语言模型可以增强其生成上下文相关响应的能力。当与像 Elasticsearch 这样强大的检索器检索到的上下文相结合时，这种大语言模型性能的提升可以优化 RAG 系统，使其能够更好地应对 NBCC 的复杂性。
引用
@article{arxiv.2505.04666,
title = {Fine-Tuning Large Language Models and Evaluating Retrieval Methods for Improved Question Answering on Building Codes},
author = {Mohammad Aqib and Mohd Hamza and Qipei Mei and Ying Hei Chui},
journal= {arXiv preprint arXiv:2505.04666},
year = {2025}
}