面向城市更新任务的大语言模型优化与微调
计算与语言
2023-11-28 v1 人工智能
摘要
本研究旨在创新性地探索大语言模型（LLM）在城市更新中的自适应应用，并提升其在知识问答（QA）任务上的性能与文本生成质量。基于 ChatGLM，我们利用城市更新科学文献语料以自指令（self-instruct）方式自动生成问答数据集，随后使用 Prefix 与 LoRA 微调方法对模型进行联合微调训练，从而构建面向城市更新的 LLM。通过引导 LLM 基于提示词与给定文本自动生成问答数据，可快速获取城市更新领域数据集，并为 LLM 的微调训练提供数据支撑。实验结果表明，本研究提出的联合微调训练方法能显著提升 LLM 在问答任务上的性能：相比 LoRA 微调，该方法在测试集上的 Bleu 与 Rouge 指标提升约 5%；相比微调前模型，指标提升约 15%–20%。本研究证明了采用 Prefix 与 LoRA 对 ChatGLM 进行联合微调的方法在城市更新知识问答任务中的有效性与优越性，为城市更新相关任务的 LLM 微调提供了新思路。
引用
@article{arxiv.2311.15490,
title = {Optimizing and Fine-tuning Large Language Model for Urban Renewal},
author = {Xi Wang and Xianyao Ling and Tom Zhang and Xuecao Li and Shaolan Wang and Zhixing Li and Liang Zhang and Peng Gong},
journal= {arXiv preprint arXiv:2311.15490},
year = {2023}
}
备注
11 pages, 2 figures, 2 tables, 41 references