基于大语言模型的桥梁设计规范问答系统
计算与语言
2024-08-27 v1 机器学习
摘要
本文基于大语言模型构建了桥梁设计规范问答系统。尝试了三种实现方案：Bert预训练模型的全微调、Bert预训练模型的高效参数微调以及从头构建语言模型。通过自建的问答任务数据集，基于tensorflow和keras深度学习平台框架，构建并训练模型，以预测用户给出的桥梁设计规范中答案的起始位置和结束位置。实验结果表明，Bert预训练模型的全微调在训练集、验证集和测试集上均达到100%的准确率，该系统能够从用户给出的桥梁设计规范中提取答案，以回答用户的各种问题；而Bert预训练模型的高效参数微调和从头构建语言模型在训练集上表现良好，但在测试集上的泛化能力有待提高。本文的研究为专业领域问答系统的开发提供了有益参考。
引用
@article{arxiv.2408.13282,
title = {Question answering system of bridge design specification based on large language model},
author = {Leye Zhang and Xiangxiang Tian and Hongjun Zhang},
journal= {arXiv preprint arXiv:2408.13282},
year = {2024}
}
备注
10 pages, 7 figures